台湾专利TW201319955A 以參考特徵匹配影像特徵之方法

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
一種以參考特徵匹配影像特徵之方法，該方法包括下列步驟：提供藉由一捕捉裝置被捕捉之一目前影像，提供一組參考特徵，其中該等參考特徵之各者包括至少一第一參數，該第一參數是至少部分地指示有關一廣域座標系統之參考特徵的一位置及/或方位，其中該廣域座標系統是一地面座標系統或一物件座標系統，或該第一參數是至少部分地指示有關一高度之參考特徵的一位置，於一特徵檢測處理程序中檢測該目前影像中之至少一特徵，聯結該檢測特徵於至少一第二參數，該第二參數是至少部分地指示有關該廣域座標系統之檢測特徵的一位置及/或方位，或該第二參數是至少部分地指示有關一高度之檢測特徵的一位置，以及藉由決定在該至少一第一參數以及該至少一第二參數之間的一相似量測，而匹配該檢測特徵與該組參考特徵之參考特徵的至少一者。
公开号:TW201319955A
申请号:TW101129955
申请日:2012-08-17
公开日:2013-05-16
发明作者:Daniel Kurz；Peter Meier
申请人:Metaio Gmbh；
IPC主号:G06V10-00

专利说明:
以參考特徵匹配影像特徵之方法
本發明是針對以參考特徵匹配影像特徵之方法，該方法包括下列步驟：提供藉由捕捉裝置被捕捉之目前影像，提供參考特徵，檢測於特徵檢測處理程序中之目前影像中的至少一特徵，以及匹配所檢測特徵與該等參考特徵之至少一者。
於利用攝影機所取得之影像處理中的許多工作，例如，於擴增實境應用以及電腦視覺中，需要找出複數個對應至相同實體3D表面之相同物件或景象的影像中之特點或特徵。一常見方法，例如，於參考文獻[1]中所揭示之SIFT中，首先以具有高重複性之方法檢測影像中之特徵。這意謂著，對應至相同實體3D表面之影像中的部份被選擇作為對於不同視角、不同旋轉以及照明設置之特徵的可能性是高的。特徵通常在尺度空間(亦即，不同的尺度)中被抽取。因此，各特徵具有除了其之二維位置外的可重複尺度。此外，可重複方位(旋轉)自在特徵附近之區域(例如，強度梯度之主要方向)中的像素強度被計算出。
最後，為引動特徵之比較以及匹配，一特徵描述符是需要的。通常之方法使用被計算之特徵尺度以及方位以轉換特徵描述符之座標，其提供對於旋轉以及尺度之不變性。描述符是，例如，一個n-維的實數向量，其通常利用局部影像強度函數之連接的長條統計圖被構成，例如，於參考文獻[1]中之梯度。
給予一目前特徵，自一目前強度影像被檢測以及被說明，一重要工作是於將被稱為參考特徵之一組被提供的特徵中，找出對應至相同的實體表面之一特徵。一自然方法是藉由徹底的搜尋找出目前特徵之描述符的最接近鄰近者以及選擇對應的參考特徵作為匹配。更先進的方法採用描述符領域中之空間資料結構以加速匹配。遺憾地，沒有已知的習用方法可引動高維度空間中最接近鄰近者的搜尋，其是顯著地更快於徹底的搜尋。這是為什麼通常之方法反而使用近似最接近鄰近者的搜尋，例如，藉由空間分割資料結構被引動，例如，參考文獻[1]中之kd-樹分法。
標準方法之限制：
藉由增加參考特徵數目，匹配一單一目前特徵之時間上升，使得在一些點的即時處理成為不可能。同時，特徵描述符之特殊性因參考特徵的總數目而減少。雖然第一個問題可藉由最佳化資料結構引動快速近似最接近鄰近者的搜尋至一程度而被滿足，但若不包含任何進一步的資訊則第二問題不能被解決。
已經提出之解決辦法：
Reitmayr以及Drummond之參考文獻[5]說明依賴視覺追蹤之一戶外擴增實境系統。為初始化視覺追蹤，亦即，去找出有關於世界之攝影機位置以及方位而不必有先前訊框的任何了解，他們使用GPS以得到裝置之粗略位置。給予這位置，他們試圖藉由在粗略的GPS量測附近之一些位置取樣的受限之攝影機位置初始化視覺追蹤，直至初始化成功為主。
Schall等人之參考文獻[7]於Kalman過濾器中組合一差動GPS/IMU硬體模組與氣壓高度量測以改進使用者之3D位置評估的精確度。這過濾的慣性追蹤再次與允許自然特徵的線上學習之無漂移視覺全景追蹤器被組合。該方法不使用任何(離線學習)參考特徵。
不同的方法存在，其是根據作用如參考特徵的一組地理參考局部性影像特徵。這些方法之假設是，如果捕捉裝置之位置是大約地已知，例如，藉由GPS，則僅安置於補捉裝置附近的那些參考特徵可能是可見的。這類型方法之一些範例將於下面被說明。
Kumar等人之參考文獻[2]使用GPS定位以縮小搜尋區域至捕捉裝置之鄰近並且使用一組預先建立之字彙樹以找出這搜尋區域中之最佳匹配影像。
同樣地，陳(Chen)等人之參考文獻[4]使用藉由GPS之裝置位置的先前資訊以改進特徵匹配。他們使用一小的字彙樹於每個空間區域，如參考文獻[2]，並且比較這結果與使用一廣域字彙樹以及包含GPS位置如特徵匹配評分處理程序中之先前資訊的方法。他們達成結論，第二方法將提供較佳的結果。
於參考文獻[8]中，Arth等人使用潛在可視集合(PVS)並且因而不僅考慮特徵之空間附近，但同時也考慮視程限制。即使他們不使用GPS於他們的室內試驗中，他們亦說明GPS可如何被使用於戶外應用中以決定捕捉裝置之粗略位置，其接著可被使用以取得這位置之參考特徵的潛在可視集合。
Bleser以及Stricker之參考文獻[3]提出一視覺慣性追蹤方法，其應用慣性感知器以量測攝影機自先前訊框至目前訊框之相對移動。這知識被使用以預測位置並且因此定義影像空間中自訊框至訊框被追蹤之特徵的2D搜尋空間。由於他們僅使用相對攝影機轉換之量測，他們的技術是不適合於攝影機姿態追蹤之初始化。
雖然參考文獻[7]不使用環境之任何參考特徵或任何模式，被說明於參考文獻[5中]之方法卻使用，但是不限制根據量測之GPS位置的參考特徵之搜尋空間。但是，參考文獻[2]、[4]以及[8]是如此。根據捕捉裝置之位置，他們決定何者參考特徵可能是可見的以及何者最有可能是不可見。這決定被採用於每個影像位準上，表示參考特徵之相同子集被考慮對於目前攝影機影像中的所有目前特徵之一可能的匹配。
現代手持裝置提供比裝置位置更多之感知器資料。例如，數位羅盤量測有關北方之裝置方位並且慣性感知器提供有關重力之裝置方位。同時攝影機影像中之特徵的2D位置，以及其之深度，如果可行的話，也包含一些應用中之有用資訊。
如上面之設定，已知之先前技術方法減少捕捉裝置鄰近中對特徵之搜尋空間，並且因而避免與遠處特徵匹配。但是，尤其是於城市環境中，時常是相似外觀特徵之情況，其易於導致錯配，其被安置而彼此接近並且在相同時間可能兩者皆是可見的。範例包含通常看起來都非常相似之建築物外觀窗戶。其明顯地很可能具有在相同時間於攝影機影像中可見到許多看起來相似的窗戶。這使得任何廣域方法，亦即，減少一每影像位準上之搜尋空間，如上面之設定，不適用於防止錯配。
本發明之一目的是提供一種以參考特徵匹配影像特徵之方法，該方法可改善即時的處理而保持特徵描述符之特殊性，甚至一增加之參考特徵總數目。
依據本發明一論點，其提供一種以參考特徵匹配影像特徵之方法，該方法包括下列步驟：提供藉由一捕捉裝置被捕捉的一目前影像，提供一組參考特徵，其中該等參考特徵之各者包括至少一第一參數，該第一參數是至少部分地指示有關一廣域座標系統之參考特徵的一位置及/或方位，其中該廣域座標系統是一地面座標系統或一物件座標系統，或該第一參數是至少部分地指示有關一高度之參考特徵的一位置，於一特徵檢測處理程序中檢測該目前影像中之至少一特徵，聯結該檢測特徵於至少一第二參數，該第二參數是至少部分地指示有關該廣域座標系統之檢測特徵的一位置及/或方位，或該第二參數是至少部分地指示有關一高度之檢測特徵的一位置，以及藉由決定在該至少一第一參數以及該至少一第二參數之間的一相似量測，而匹配該檢測特徵與該組參考特徵之參考特徵的至少一者。尤其是，該廣域座標系統可以是一地面座標系統或一物件座標系統，例如，一建築物或一產品座標系統。
依據一實施例，該方法包含當匹配該檢測特徵時藉由在該組參考特徵內之一減低數量的參考特徵而定義一搜尋空間之步驟，其中該搜尋空間根據該至少一第二參數被決定。
因此，依據本發明之論點，其藉由考慮廣域座標系統(世界座標)座標中他們的位置之至少部份的知識，提議減少用於匹配局部性影像特徵之搜尋空間。於目前影像中所給予的之一目前特徵，該方法是尋找世界座標之一組參考特徵(部分地已知的)中的一對應特徵。尤其是，依據目前影像被取得時間之捕捉裝置的位置及/或方位上之可用資訊，以及目前影像的特定像素之可能是可用的深度，世界座標中一目前特徵之(部份)位置可被決定。這接著被使用以減少搜尋空間藉由僅考慮那些的參考特徵，如可能匹配被安置而接近至世界座標中之目前特徵的(部份)位置。產生的匹配可，例如，被使用以初始化一擴增的實境應用中之視覺攝影機追蹤方法。
如上面之設定，依據參考文獻[2]、[4]以及[8]之方法根據捕捉裝置之位置決定那些參考特徵可能是可見的以及那些最可能是不可見的。這決定被採用於一每影像位準上，表示參考特徵之相同子集被考慮作為對於一目前攝影機影像中的所有目前特徵之可能匹配。依據本發明之方法不同於這些方法，因其聯結一攝影機影像之檢測特徵於有關廣域座標系統之檢測特徵的至少一部份的位置及/或方位資訊，並且採用這決定於一每特徵位準上。可能匹配參考特徵之集合根據其(部分地)已知的廣域位置對於目前攝影機影像中的每個檢測特徵被決定。
依據一實施例，該廣域座標系統提供有關一特徵之地理參考位置及/或方位的資訊。例如，至少一第一以及第二參數之至少一者是至少部分地指示一經度以及緯度。
依據一實施例，至少一第一以及第二參數之至少一者是是至少部分地指示有關相對於該捕捉裝置之一相對高度、或一絕對高度的一位置。
依據一實施例，該檢測特徵之位置及/或方位藉由一方程式被描述，該方程式描述一幾何形狀，例如，一點、一射線、一直線、一圓、一圓錐體、或一圓柱體。例如，匹配該檢測特徵與該組參考特徵之步驟僅考慮該組參考特徵中具有至該幾何形狀之距離是在一臨界值之下的一位置的那些參考特徵為可能之匹配。
依據一實施例，至少一第一以及第二參數之至少一者是於一特徵描述符領域中及/或於一空間領域中之一空間資料結構之部份，例如，其中該空間資料結構包含一限定容積，例如，軸對齊方塊、定位方塊、球形、任意容積，或一網格，或任何類型之樹型，例如，四分樹型(Quadtree)、八叉樹型(Octree)、二元空間分割樹型(BSP-tree)、k維空間樹型(kd-tree)、多維空間索引樹型(R-tree)。
最好是，當捕捉該目前影像時，該至少一第二參數使用有關該廣域座標系統之捕捉裝置的至少部份之位置及/或方位被決定。
依據本發明一實施例，至少一第一參數可以是至少部分地指示有關廣域座標系統的參考特徵之僅僅一位置及/或至少部分地指示一位置以及方位。同樣地，依據本發明一實施例，該至少一第二參數is至少部分地指示有關廣域座標系統的檢測特徵之一位置或至少部分地指示一位置以及方位。於這些實施例中，檢測特徵之方位可能不被該方法所考慮。
如果檢測特徵一元素之深度資訊是可用的，則至少一第二參數可使用該目前影像中之至少一元素的一深度作為該檢測特徵之一部份而被決定。
依據一實施例，該至少一第二參數使用相關於該捕捉裝置之一座標系統中的一重力向量之一量測以及該目前影像中之至少一元件的一深度作為該檢測特徵之一部份而被決定。例如，檢測特徵之位置是至少部分地以藉由具有一法線是或對應至該重力向量之一平面被描述，而該平面指示高度。
依據一實施例，至少一第二參數藉由進一步使用該捕捉裝置之一組本質參數、以及該目前影像中之該檢測特徵的一位置而被決定。
利用組合朝向該捕捉裝置之該檢測特徵的一決定距離以及該捕捉裝置之方位，而計算有關該廣域座標系統或該捕捉裝置的一座標系統之該檢測特徵的一3維位置。
依據一實施例，該組參考特徵被取得自至少一參考影像，該至少一參考影像藉由不同於該捕捉裝置的一第二捕捉裝置被記錄。例如，該至少一參考影像之捕捉時間是至少比該目前影像之捕捉時間早一天。
依據一實施例，該方法進一步包括提供該捕捉裝置之至少一部份的位置、方位及/或高度之步驟，其中關聯於該檢測特徵之至少一第二參數的一不確定性資訊因而被導出。
依據一實施例，該不確定性資訊被使用以影響該匹配處理程序。例如，該不確定性資訊藉由依據該不確定性而改變關於位置及/或方位之分別的自由度之至少一者的一個別加權(例如，笛卡兒(Cartesian)座標中之x，y，z)，以影響該匹配處理程序。
依據另一實施例，該不確定性資訊影響作為將被匹配之匹配候選者之參考特徵的選擇。例如，該方法進一步包括提供作為匹配候選者之參考特徵的選擇所根據被影響之一加權，其中一較高的不確定性減少該加權並且一較低的不確定性增加該加權。
例如，該不確定性資訊根據用以提供該捕捉裝置之位置、方位及/或高度的一感知器型式被決定。
依據一實施例，該方法進一步包含使用一匹配結果之步驟，其使用該匹配結果於該目前影像中之一物件的檢測、分類或局部化，或於該廣域座標系統中之該捕捉裝置的局部化，或於該捕捉裝置之初始姿態評估，或於該捕捉裝置之初始化姿態追蹤。
於一可能的實作例中，該方法被使用於一擴增實境應用中。
本發明也是關於一電腦程式產品，其適用於被裝載進入一數位電腦之內部記憶體並且包括軟體數碼之部份，當該產品於該電腦上執行時依據本發明的方法被進行。圖式簡單說明
接著本發明進一步的論點以及實施例將藉由參看至下面的圖形而更詳細地被說明，於其中：第1A圖展示匹配一組目前特徵與一組參考特徵之標準方法的流程圖；第1B圖是用以闡述特徵之檢測、說明以及匹配之描述；第1C圖展示由二組玩偶以及捕捉其影像的一捕捉裝置所構成而用於闡述特徵深度之範例景象；第2圖解釋包含，例如，利用GPS被提供之一粗略的預知裝置位置而用於特徵匹配之目前方法的流程圖；第3圖展示依據本發明一實施例之方法流程圖；第4圖是展示本發明一實施例與目前方法之比較的闡述；第5圖展示一範例景象，於其中依據本發明一實施例之方法被應用；第6圖顯示藉由一捕捉裝置所取得之一範例景象的影像；第7圖顯示以捕捉裝置所取得之另一範例景象的影像；第8圖展示依據本發明一實施例之一方法的可能使用；第9圖闡述有關FAST角落檢測器以及SIFT特徵描述符之特徵尺度或尺寸，如用於對檢測點特徵之方法的常見範例；第10a圖展示依據本發明一實施例之方法的流程圖；第10b圖展示依據本發明另一實施例之方法的流程圖；第10c圖展示依據本發明另一實施例之方法的流程圖；第11圖闡述一範例景象，其比較依據本發明之實施例的技術與標準方法，其展示捕捉由二組玩偶所構成之景象的捕捉裝置之結構。
熟習本技術者應明白，本發明論點之下面說明僅關於用以說明以及闡述本發明原理及論點之實施例，而非限定如附加申請專利範圍中所定義之本發明範疇。
於下面，名詞例如“廣域座標系統”、“世界座標系統”、“廣域座標”以及“世界座標”可替換地被使用並且被使用於指示如上所述之一廣域座標系統以及其之座標。
假定提供一組地理參考局部性影像特徵，其中每個特徵具有除了一特徵描述符外之描述其於廣域座標系統中之(部份)位置及/或方位的相關性質。吾等將參看此組特徵作為參考特徵。參考影像之取得、來自參考影像之參考特徵的檢測與說明以及他們(部份)位置及/或方位之決定可藉由任何方法被進行並且為了簡潔理由，將不進一步被說明。進一步地，存在之方法可至少部分地決定有關高度之參考特徵的位置，例如，當捕捉一參考影像時藉由使用一氣壓計作為感知器裝置。熟習本技術者應非常明白，可提供此等參考特徵之此等方法。
於這意義，一特徵是一影像中之一突顯元素，其可以是一點、一線、一曲線、一連接區域或任何其他像素集合。一特徵描述符涉及提供一明顯描述的方法，例如，依據一個或複數個影像中之其局部性鄰近者之一特徵之實數向量形式。
聯結於一廣域座標系統中的一(部份)位置及/或方位及/或一特徵之高度(如下面更詳細的說明)之任何參數可被儲存作為分別的特徵描述符之一部份，或除了分別的特徵描述符之外者可被儲存。如適當的話，可選擇其方式以聯結這資訊與一分別的特徵。
使用一捕捉裝置，例如，攝影機，一目前影像被捕捉並且於該目前影像中之至少一目前特徵被檢測並且被描述。對於每個目前特徵，其目標是找出一組參考特徵中對應至相同實體表面的一特徵。
第1A圖展示匹配一組目前特徵與配合第1B圖之一組參考特徵的標準方法之流程圖。於步驟S11中，利用一捕捉裝置被取得的目前影像CI被提供。下一步驟S12接著檢測並且描述目前影像CI中之特徵(選擇性：依據評估模式特徵位置之已選擇的抽取)，其中每個產生的目前特徵CF具有一特徵描述符D(CF)以及於攝影機影像CI中之2D位置。可被使用於特徵檢測以及描述之可能方法，將參看至實作範例而更詳細地於下面被說明。
一組參考特徵RF，各具有廣域座標系統中之一描述符D(RF)以及一(部份)位置及/或方位被提供於步驟S13中。於步驟S14中，來自步驟S12之目前特徵CF以及來自步驟S13之參考特徵RF被匹配。例如，對於每個目前特徵，參考特徵被搜尋有關一確定距離量測之具有最接近於目前特徵的描述符之描述符。
依據步驟S15，一應用使用該等特徵匹配，例如，以便於整合空間地對齊虛擬3D物件成為攝影機影像之擴增實境應用中非常精確地評估捕捉裝置之位置以及方位。
如下面將更詳細地描述，於一影像中一元素，例如，像素，之一深度，當匹配特徵時，可能被使用作為進一步的資訊。通常，一影像中之一元素(例如，像素)的深度可定義成在這元素(像素)中被成像的實體表面以及捕捉裝置，尤其是，捕捉裝置之光學中心之間的距離。
就此而言，第1C圖展示由二組玩偶S1與S2以及一捕捉裝置CD所構成(各組包括一高的以及一小的玩偶)的範例景象。該組S1之實體點PP1藉由捕捉裝置被成像於像素IP1中。這像素之深度是D1，那是在捕捉裝置的光學中心OC，其定義攝影機座標系統之原點，以及實體點PP1之間的距離。相似地，該組S2之一第二實體點PP2被成像於IP2中並且具有深度D2。注意到，攝影機本質參數(尤其是焦距)之一評估，被給予深度D1以及影像平面IP1上其像素位置點PP1時，允許計算出笛卡兒座標中之3D位置。
有許多方法可能提供一影像中之一元素(例如，像素)的深度，其可能被使用於依據本發明之匹配處理程序中，其將於下面之段落中被說明。
來自被校準攝影機之深度：
依據一實施例以決定一強度影像中之至少一元素的深度，具有已知相對位置及/或方位之至少二組捕捉裝置，其各捕捉一分別的強度影像，其中對應性被發現於該等影像中並且該等捕捉裝置之相對位置及/或方位被使用以計算強度影像中之至少一元素的深度，其是該等對應性之至少一者的部份。
尤其是，提供深度資料之一可能性是如下所述：至少二個攝影機，記錄具有已知的相對姿態以及理想之已知本質參數的強度，可在大約相同時間或當不移動時在不同時間，捕捉影像。對應性可發現於兩影像中，並且攝影機之相對姿態以及本質可被使用以計算任一影像座標系統中之對應性深度。在試圖找出對應性之前取得相對姿態以及本質參數是有利的，因為它們可被使用以經由引介另外的限制(例如，同軸幾何)而簡化對應性之產生。
例如，根據點特徵之對應性的尋找可如下所述被實作：為自一個影像匹配一2D特徵至另一影像，關於指定尺度之2D特徵的片塊於其他影像中被搜尋。例如，差異值平方和(SSD)或標準化相關性(NCC)可分別地被使用作為距離或相似量測。為減低搜尋對應之片塊所需要的比較數量，其僅沿著另一影像中之特徵點的同軸線被搜尋。為簡化沿著同軸線之搜尋為一1D-搜尋，影像首先被矯正。具有最高相似性的二個片塊被設定成為相關。如果具有最高相似性之一者是顯著地比第二最高相似性者更相似，則先前之一者將被考慮作為匹配對應性。
當然，熟習本技術者應明白，許多可能性存在以得到對應性。其同時也可能得到對應性而不必考慮同軸線。當然，處理程序也可以反覆的形式被實作，其使用初始深度評估與吾人所提之實際尺度特徵描述符並且再計算具有較高精確度之特徵的對應性以及位置。
來自至少一移動攝影機之深度：
依據另一實施例以決定一強度影像中之至少一元素的深度，至少一捕捉裝置自不同位置在不同時間點捕捉強度影像，其中對應性被發現於不同的影像中並且在不同影像間捕捉裝置之相對位置及/或方位以及對應性的結構被重新獲得並且被使用以計算強度影像中至少一元素的深度，其是該等對應性之至少一者的部份。
例如，至少一攝影機在不同的時間點自不同的位置照像。理想地，一些其他感知器量測是可用的(例如，GPS位置)。該等影像以及另外資訊，如果可用的話，接著被分析。不同影像中之對應性被發現，例如，藉由追蹤自影像至影像之特徵或藉由檢測局部性特徵並且使用尺度不變描述符以匹配它們。接著，一所謂的自移動產生結構(SfM)之方法被使用以重新獲得在不同的影像以及對應性結構之間的相對姿態。熟習本技術者應明白，亦有許多不同方法。理想地，另外的感知器資料，如同GPS位置或攝影機之已知的移動(例如，藉由於車子中量測該車子之移動)可被使用以提供實體尺度之對應性結構。另外地，如果於任何影像中，具有已知尺度之一已知物件，可被取得(例如，一現鈔或標誌)，實體尺度同時也可被取得。於實體尺度不能被取得之情況中，一尺度被假設，並且吾人之方法仍然可被使用，但是將僅用於這確切情節中之進一步的匹配。例如，為了追蹤攝影機移動以便將遊戲角色疊印於視訊遊戲上，移動之確切尺度可能不是問題，但是實際之相對移動是重要的。經由真實尺度特徵描述符之增強的匹配於此會是有用的。
再者，這處理程序可以反覆方式被實作，其使用初始尺度評估以精鍊對應性，導致姿態評估以及結構中之較高的精確度。
來自影像匹配之深度：
依據另一實施例以決定一強度影像中之至少一元素的深度，其提供強度影像之至少一資料庫，其中對於該等強度影像之各者的一全部深度，或對於至少一影像區域之深度，或對於一個或多個像素之深度是已知的，並且利用捕捉裝置被捕捉之強度影像(目前強度影像)對照於這資料庫而被匹配。匹配結果被使用以計算目前強度影像中之至少一元素的深度。
例如，取得相關於一影像的深度之方法是如下所述：吾等假設影像之一資料庫存在並且對於各個影像的全部深度(例如，10米)或對於分別的影像區域之深度或對於各像素之深度的任一者是已知的。所採取之目前影像接著對照於這資料庫被匹配。為了加速處理程序及/或增加強健性，一選擇步驟可被使用以產生用於影像匹配之最佳化資料結構。這可，例如，自特徵描述符建立一字彙樹或一KD-樹。
該方法可使用來自資料庫影像之詳細的深度資訊(如果存在的話)以及吾人提議之真實尺度特徵描述符或使用其他方法試圖對齊兩影像。如果這是不可能或沒有詳細的深度資訊被提供，則一所給予的深度或平均深度被送回。
來自3D模式資訊以及感知器資訊之深度：
依據另一實施例以決定一強度影像中至少一元素之深度，當捕捉有關一環境模式之強度影像(其可以是一初始評估)時，則其提供一環境模式以及有關捕捉裝置之位置及/或方位的資訊，其中該環境模式以及有關捕捉裝置之位置及/或方位的資訊被組合並且被使用以計算強度影像中至少一元素之深度。例如，假設一環境模式可被提供，其可以，例如，是被構成之3D模式或環境之掃瞄。當有關環境模式之影像被取得時，如果有關捕捉裝置之位置及/或方位的任何資訊是已知的，則兩者可被組合。例如，藉由假設的攝影機姿態以及攝影機本質而表現3D模式，每個像素之深度可自藉由環境模式被提供以及在表現期間被使用之深度緩衝器而被得到。雖然一初始姿態評估是用於這方法所必須的，使用假設之深度以及具有紋理環境模式的本發明，該姿態接著可在其他應用之間被精鍊並且成為更精確。當然這處理程序也可反覆地被使用。
來自專用感知器之深度：
依據另一實施例以決定一強度影像中至少一元素之深度，其提供至少一感知器以取得深度資訊或範圍資料以及有關該捕捉裝置之至少一感知器的至少一相對位置及/或方位，其中該深度資訊或範圍資料被使用以計算強度影像中至少一元素之深度。最好是，姿態(位置與方位)以及感知器以及捕捉裝置二者之本質參數是已知的。
尤其是，取得深度資訊之方法是使用特別感知器，其專用於取得深度資訊或範圍資料。例如，其可是飛行時間機構，類似於雷射掃瞄器或飛行時間攝影機。另一範例是感知器，其投射一已知的光樣型進入環境中並且在藉由具有一感知器之環境被反射之後取得該樣型。藉由匹配投射的資訊與所接收的樣型以及藉由知曉投射器朝向取得感知器之姿態和藉由投射器與感知器兩者之知曉的本質參數，深度可被計算。
允許深度資料之取得的另一感知器是參考文獻[6]之全光攝影機。
為了使用具有強度影像之深度感知器的資訊，姿態以及本質兩者皆是已知的。深度資訊接著可被轉換成為攝影機座標系統並且被使用。
第2圖說明對於特徵匹配之目前方法，例如，GPS為基礎之方法，如於參考文獻[4]中之說明，該方法流程圖中包含一粗略的先前捕捉裝置位置，例如，利用GPS被提供。於步驟S21中，目前影像被提供，並且這影像中之特徵被檢測且被說明於步驟S22中。產生的該組目前特徵具有用於各個特徵之一描述符以及影像座標中之2D位置。步驟S23提供廣域座標系統中之捕捉裝置的一(部份)位置及/或方位。與一組參考特徵一起被提供於步驟S24中，具有(部分地)已知之廣域座標系統中的座標，捕捉裝置之(部份)位置及/或方位以及目前特徵被使用於步驟S25中之匹配步驟中。於此處，捕捉裝置位置及/或方位之(部份的)知識被使用以減少可能是可見參考特徵之搜尋空間。對於每個目前特徵，具有最相似之描述符的參考特徵被發現於具有相似於捕捉裝置之一位置及/或方位的該組參考特徵中。最後，於步驟S26中，一應用使用目前以及參考特徵匹配。如於第1A圖之步驟S15中，這應用可以是，但是不受限定於，一擴增之實境應用。
依據本發明之論點，提議藉由考慮世界座標(或廣域座標)中它們的位置之(部份)知識，以減少用於匹配利用一捕捉裝置所取得之目前影像的影像特徵之搜尋空間。一廣域座標系統可以是一地面座標系統或一物件座標系統(例如，建築物或一產品封裝箱或一車子)，其具有關於地球之重力的固定高度或固定方位。
為減少搜尋空間，依據本發明之方法最好是使用所有可用的資訊以至少部分地描述廣域座標系統中之目前特徵的位置及/或方位(亦即，不屬於捕捉裝置者)。因可被決定的特徵之位置的自由度，是大量地取決於捕捉裝置的位置以及方位上之可用資訊，本發明論點之不同實作範例將於下面更詳細地被說明。
第3圖描述依據本發明一實施例之方法流程圖。於步驟S31中，利用捕捉裝置所取得之一目前影像被提供。一廣域座標系統中之這捕捉裝置的(部份)位置及/或方位被提供於步驟S32中。接著，步驟S33檢測以及描述來自被提供之目前影像的特徵並且計算每個目前特徵之廣域座標系統中的(部份)位置及/或方位。各具有一描述符以及廣域座標系統中之一(部份)位置及/或方位的一組參考特徵被提供於步驟S34中，其中於步驟S35中，該等參考特徵與目前特徵一起作用如同至匹配之輸入。所提議之匹配方法(步驟S35)接著藉由於一組參考特徵中尋找具有最接近之描述符的參考特徵而對於每個目前特徵找出匹配參考特徵，該組參考特徵具有接近至廣域座標系統中之目前特徵的(部分地)已知位置及/或方位之廣域座標系統中的一(部份)位置及/或方位。最後，特徵匹配被使用於步驟S36中之一應用中，其對應至如上所述之步驟S15以及S26。
一目前特徵之位置可利用一方程式E被描述，方程式E描述一點、一射線、一直線、一圓、一圓錐體、或一圓柱體或任何其他的幾何形狀。該匹配步驟接著僅考慮具有藉由E被定義之至該幾何形狀之距離是在一臨界點ε(epsilon)下之一位置的那些參考特徵作為可能之匹配。因而，ε是，例如，取決於被使用以計算目前特徵之部份位置的感知器量測所決定的精確度。取決於部份空間資訊的分別來源之不確定性，在一參考特徵以及一目前特徵的位置之間的距離量測不必定地需要是歐幾里德(Euclidean)距離，但是可具有用於不同自由度之不同加權。同時，其也可以是取決於在一參考特徵以及捕捉裝置之間的距離。
不確定性傳輸之詳細說明可被發現於參考文獻[9]中。
本揭示構想之論點具有對於同軸幾何概念的一些相似性。如果在二攝影機之間的轉換是已知的，找到對應特徵之問題被簡化，至於第一影像中之每個特徵，如果其是完全可見於該影像中，則第二影像中之一直線(“同軸線”)可被形成而包含對應的特徵。但是，本揭示方法之一論點中，不同於其更通用且該方法使用3D之限制，因而同軸幾何限制是於2D影像空間中。另一重要差別是受限制之匹配處理程序的參考座標系統。例如，於同軸幾何中，一切事務被結合至影像空間，而本揭示方法是根據於廣域座標系統，使得它們無關於相對的攝影機姿態。
實作範例：
這部份不僅根據可用的資訊而討論本發明論點之不同實作例，同時也提到特徵檢測、特徵說明以及一方法之實作範例以匹配在所給予的空間限制之二特徵集合。
可被使用於本發明一方法中之檢測一影像中特徵的方法，包含但是不受限定於高斯之拉普拉斯(LoG)的相對極值、高斯差分(DoG)或赫斯亞行列式(DoH)、最大穩定極值區域(MSER)、赫利斯(Harris)特徵、或學習為基礎之角落檢測器，例如，FAST。檢測邊緣(邊緣元素)之方法也是適當地被使用於此方法中。將被使用之特徵檢測方法是不受限定於可進行於2D強度灰階影像上之方法，但是也可被進行於包含RGB、HSV以及Lab之任何其他色彩空間中的影像上，或專有地包含深度資訊或提供深度以及強度兩資訊之範圍影像。
說明特徵之方法可在上面說明之任何型式的影像上進行並且可包含SIFT(尺度-不變特徵轉換)、SURF(加速強健特徵)、GLOH(梯度位置以及方位統計圖)、HOG(定位梯度統計圖)、2.5D-SIFT，或任何其他方法以比較包含類似於隨機蕨之類別為基礎方法的局部性特徵。
吾人方法中之匹配步驟的最自然方法是，在考慮其為可能匹配之前對於目前以及參考特徵的每個組合進行徹底的搜尋並且檢查它們空間距離並且計算在二描述符之間的距離。更詳盡之構想的實作例將使用描述符領域及/或空間領域中之空間資料結構以加速匹配。適當的資料結構包含，但是不受限於限定之容積(軸對齊方塊、定位方塊、球形、任意容積)，或網格(一致的或不是一致的)，或任何類型之樹型(例如，四分樹型、八叉樹型、二元空間分割樹型、k維空間樹型、多維空間索引樹型)。匹配處理程序中之參考以及目前特徵的角色是可交換的，亦即，一匹配參考特徵對於各目前特徵被搜尋或反之亦然。同時，其也不必定需要於特徵集合之任一者中找出對於每個單一特徵之匹配，但是匹配處理程序目標在找出一參考特徵以及一目前特徵之間的至少一匹配。
發現特徵匹配接著可被使用於包含物件檢測、物件分類、物件局部化以及廣域座標系統中之攝影機局部化之應用。後者，同時也被稱為“自我局部化”，例如，可藉由強健姿態評估方法，例如，RANSAC、PROSAC或M-評估器被進行。注意到，此等方法需要本質攝影機參數之評估，尤其是，焦距。根據捕捉裝置位置及/或方位上之可用資訊以及像素之深度，本發明構想之不同的可能實作例形成。它們不同於空間限制以減少對於所給予的目前特徵之目前匹配的參考特徵之位置及/或方位的搜尋空間。吾人所考慮尤其重要的範例將於下面詳細地被說明。
該等方法假設攝影機之本質參數的評估將是可用的。這評估，例如，可產生自一校正步驟或一合理之猜測，例如，根據攝影機解析度。根據捕捉裝置之位置的指示之那些方法是可由二個不同的實作例被知曉。裝置之經度以及緯度根據測量，例如，GPS而被提供。依據被使用之硬體，其可能是無高度量測可用或它們可能是非常不精確的。如果捕捉裝置的絕對高度之量測是可用的並且可被考慮為充分地精確，則其被使用。此外如果一假設被使用，例如，使用者被安置於街道位準上並且握有捕捉裝置在他或她手中在街道位準上面大約1.5至2米之高度。裝置高度可無關於經度以及緯度地被量測，例如，經由一氣壓計。
於下面，吾人將假設一特徵是一點(亦即，一特徵點，關鍵點或相交點)。但是本發明可以任何其他類型特徵之相似方式被實作，例如，藉由將一特徵之重心視為其之位置。其他特徵可以是邊緣、小邊或區域。
於下面，本發明一實施例使用來自裝置位置以及3D裝置方位之射線或點作為實作範例被說明。
如果於世界座標中之捕捉裝置位置(例如，經由GPS以及任意之一氣壓計)以及3D方位(例如，藉由慣性感知器以及數位羅盤之組合被量測)是已知的，依據本發明論點之方法一起使用這資訊與攝影機之本質參數以及目前影像中之目前特徵的位置以定義這特徵被安置的世界座標中之一射線。如果另外地，特徵之深度的評估是可用的，則該方法可計算世界座標中之目前特徵的絕對3D位置。
於匹配階段中，僅比一臨界值(ε)較接近至目前特徵被安置之該點或射線之參考特徵被考慮。再次，在一參考特徵以及一點或射線之間的距離量測可以包含位置及/或方位之分別自由度的一個或多個不確定性之方式被定義。用於這組態之世界座標領域中之一適當的空間資料結構將是一均勻的網格。3DDDA演算法，例如，將被應用以決定一射線穿透之有關的胞格。對於網格中之各胞格，描述符領域中之任何空間資料結構可被應用以儲存包含於胞格中之參考特徵，例如，KD-樹型。
第4圖是展示本發明一實施例與一目前方法之比較的闡述圖。尤其是，第4圖於一非常粗略位準上比較本發明論點與目前技術。城市區域之頂視圖被展示，其中一使用者在一量測位置握有一捕捉裝置CD(於左方描述中為CD1以及於右方描述中為CD2)，於量測位置中捕捉裝置捕捉一環境影像。於被捕捉之影像中，一特徵F被檢測(於左方描述中為F1以及於右方描述中為F2)。目前方法(左方描述)根據已知的捕捉裝置CD之位置定義用於對應至目前特徵F的參考特徵之一搜尋空間SS1。依據本發明論點之方法(右方描述)計算特徵F的(部份)位置並且根據F之(部分地已知)位置定義用於對應至F的參考特徵之一不同的搜尋空間SS2。如於第4圖中所見，搜尋空間SS2是主要地較小於依據先前技術方法之搜尋空間SS1。因而，依據本發明之方法除了導致較少錯配之技術狀況之外亦允許進一步地減少搜尋空間。
於下面，本發明另一實施例使用來自2D重力方向之1D特徵高度以及1D特徵深度作為實作範例被說明。這實施例或相關於這實施例被說明之本發明論點可能被使用而不必或結合任何上述實施例或本發明論點。
提供關聯於捕捉裝置的座標系統中之重力向量的量測，例如，藉由慣性感知器，以及目前攝影機影像中之目前特徵深度，例如，經由立體深度(depth-from-stereo)方法，依據本發明論點之方法計算這特徵之相對或絕對高度。
影像中一特徵之2D位置與本質攝影機參數一起導致定義關聯於捕捉裝置之一座標系統中的3D射線。此外，因特徵深度可能是已知的，攝影機對齊之座標系統中的特徵之3D位置可被計算。自捕捉裝置光學中心至3D特徵位置之向量接著被投射至導致特徵高度之標準化重力向量上。
上述方法導致有關捕捉裝置之一相對高度量測。為了計算特徵之絕對高度，裝置之絕對高度將需要被添加。這可以被量測，例如，經由GPS或氣壓計，或可以是根據如上面說明之一假設。
第5圖闡述如上所述之本發明論點的一可能實作例。尤其是，第5圖展示一捕捉裝置CD，其提供裝置座標(亦即，捕捉裝置座標系統之座標)中一重力向量G以及特徵F1之深度D的量測。給予二片段資訊，有關捕捉裝置CD之特徵F1的相對高度RA可被計算。尤其是，影像中的特徵F1之2D位置能夠與本質攝影機參數一起定義關聯於捕捉裝置之座標系統中的3D射線。當特徵F1之深度D是已知時，攝影機對齊座標系統中的特徵之3D位置可被計算。自捕捉裝置CD光學中心至特徵F1之3D特徵位置的向量接著被投射至導致特徵F1的相對高度RA之標準化重力向量上。增加捕捉裝置CD之(絕對)高度CDA導致特徵F1之絕對高度AA。類似的計算可供用於特徵F2以計算其之高度。
供用於對應至目前特徵F1的參考特徵之搜尋空間接著被定義在其之高度AA附近。注意到，以此方式，參考特徵F2不被考慮作為可能匹配，雖然其看來非常相似於F1，但其不是落進搜尋空間之中。因而，依據這論點之本發明減低錯配之可能性。
依據一實施例，於匹配階段中，目前特徵之位置藉由具有重力向量是法線的一平面被說明。將是用於目前特徵之一候選匹配者的參考特徵之空間限制是它們至該平面的距離是在一特定臨界值之下。因該平面描述一高度，該限制也可被視為迫使一參考以及一目前特徵之高度絕對差是在臨界值之下。
用於這實作例中之廣域座標系統領域的一適當資料結構將是具有沿著重力軸的大多數次分割之一非均勻網格。再者，任何資料結構可被使用以依據它們的描述符而分類胞格中之所有特徵。
進一步之可能實作例：
於下面，吾人將扼要地說明本發明論點之多種可能實作例。依據一實施例，名詞“2D位置”涉及捕捉裝置之經度以及緯度，而“3D位置”另外地包含高度。名詞“1D旋轉”涉及對於重力之方位，例如，藉由羅盤所得到者，“2D旋轉”是相對於重力之旋轉(例如，藉由慣性感知器所量測者)以及“3D旋轉”涉及兩資訊之組合。
本發明一可能實作例將使用捕捉裝置之2D位置以及3D旋轉與目前特徵之位置以及深度一起定義世界座標中之一垂直線，一對應的參考特徵需要近似地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之2D位置以及3D旋轉與目前特徵之位置一起定義世界座標中之一個半平面，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之3D位置以及1D旋轉與一目前特徵之位置以及深度一起定義世界座標中之一半圓，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之3D位置以及1D旋轉與一目前特徵之位置一起定義世界座標中之一個半平面，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之2D位置以及1D旋轉與一目前特徵之位置一起定義世界座標中之一個半平面，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之3D位置以及2D旋轉與一目前特徵之位置以及深度一起定義世界座標中之一圓，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之3D位置以及2D旋轉與一目前特徵之位置一起定義世界座標中之一圓錐體，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之2D位置以及2D旋轉與一目前特徵之位置以及深度一起定義世界座標中之一圓柱體，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之1D位置以及2D旋轉與一目前特徵之位置以及深度一起定義世界座標中之一平面，一對應的參考特徵需要相關地被安置於其上。
本發明之另一可能實作例將使用捕捉裝置之3D位置與一目前特徵之位置以及深度一起定義世界座標中之一球體，一對應的參考特徵需要相關地被安置於其上。
一可能實作例可依據下面的公式計算在一參考特徵(利用指標1被指示)對照於來自一目前影像之一抽取特徵2(利用指標2被指示)之間的匹配可能性MP_A：MP_A=1/sqrt[(x1-x2)^2^＊weightx+(y1-y2)^2^＊weighty+(z1-z2)^2^＊weightz]
其中“加權(weight)”取決於特徵位置評估被傳送的不確定性，根據該裝置之目前姿態評估被傳送。例如，如果距離是已知的以及高度與高度角度，但是非x，y座標(標示影像中之2D位置)，則加權x(weightx)以及加權y(weighty)是0，而加權z(weightz)是非零。加權x、加權y、加權z標示用於分別的x，y，z座標之分別的加權。
換言之，MP_A根據在可能經由資料庫或參考模式被提供的參考特徵以及已被抽取但是尚未被匹配的目前特徵之間的空間中之笛卡兒距離被決定。隨著在該等特徵之間的距離增加，匹配可能性將減少。這提供非常可靠之結果，但是其高度地依賴於非常好的姿態評估之初始化。
另一實作例可計算在參考特徵1的特徵描述符向量v1以及抽取特徵2的特徵描述符v2之間的匹配可能性MP_B，如自目前技術方法所已知者：MP_B=1/sqrt[(v1-v2)^2]。
換言之，MP_B考慮在被提供的資訊之間的影像中之相似性(例如，強度差量)。
有利地，一可能實作例可組合如上所述之二個匹配可能性計算。例如，MP_A可被計算以決定一限定的目前匹配之預選擇，並且接著MP_B可關於其中MP_A超出一確定臨界值之參考特徵以及目前特徵被計算。或者，MP_B可能首先被計算以決定一限定的目前匹配之預選擇並且接著MP_A可關於參考特徵以及目前特徵之被計算。
於一可能實作例中，其可能根據姿態評估的不確定性被決定，何者匹配機率之姿態評估不確定性將被計算、被組合及/或於其中匹配機率將被計算之順序。例如，如果攝影機姿態之不確定性是低的，MP_A可能是較佳的或優先於MP_B，表示MP_A或MP_A以及MP_B組合之任一者(其中MP_A被使用於預選擇)可被使用。
依據一實施例，不確定性資訊藉由根據不確定性(例如，笛卡兒座標中之x，y，z)而改變關於位置及/或方位之分別自由度的至少一者之一分別的加權以影響匹配處理程序。例如，當匹配候選者將被匹配時，不確定性資訊影響參考特徵之選擇。例如，當具有一加權時，作為匹配候選者之參考特徵的選擇根據該加權被影響，一較高的不確定性可能減少加權並且一較低的不確定性可能增加該加權。
例如，用以提供捕捉裝置之位置、方位及/或高度的不確定性資訊根據感知器型式被決定。
假設吾人被提供於廣域座標系統中之捕捉裝置的(部份)姿態上的一粗略預知以及相同廣域座標系統中之環境的一參考模式(例如，剖析參考特徵集合或一三角形網眼)。吾人提出將參考模式(之部份)轉換成為關聯於捕捉裝置之座標系統，並且將其投射至攝影機影像平面上。特徵檢測方法接著使用這投射的資訊於其僅檢測它們鄰近中具有參考模式被投射的部份之影像中在那些位置的特徵。
第6圖顯示藉由一捕捉裝置被取得之範例景象的影像。該影像之景象包含風景(山、岸邊、海)以及一些人工物件(屋子)。使用捕捉裝置之粗略姿態，例如自GPS、一數位羅盤、以及一加速器，鄰近中可用的參考模式RM藉由那姿態被表現。這模式不包含山或海上之任何資訊，但是專有地代表景象中之人工結構。根據被投射之參考模式RM，涵蓋投射之參考模式以及其之局部性鄰近者的一適應式區域AR被形成。依據本發明之方法接著僅檢測在這區域AR內部之特徵，因於影像的其他區域中被檢測之特徵很可能於參考模式中不具有任何對應性。
第7圖闡述另一實作例，其展示藉由捕捉裝置所取得之另一範例景象的影像。假設僅有關捕捉裝置之重力的粗略方位是已知的，例如，藉由一加速器被提供，一更通常之參考模式被使用，例如，地平線。藉由在已知的方位考慮之下投射地平線H進入影像中並且藉由僅檢測在這投射線鄰近之一適合區域AR中的特徵，檢測在地面及天空之特徵被避免。這提供匹配中之有利條件，因戶外情節中之地面上的特徵通常是非常重覆的並且天空之特徵是明顯地無用的，因天空隨著時間激烈地改變景象。
依據本發明一實施例，該方法可被使用於客戶伺服器架構中，於其中一個或多個客戶，例如，於移動式裝置上執行，經由網路，例如，無線LAN、GSM或任何其他寬區域網路(WAN)，與一伺服器通訊。
第8圖闡述在客戶C以及伺服器S之間的通訊範例之流程圖。於步驟S81中，在客戶C決定其之粗略(部份的)姿態(位置以及方位)之後，這資訊被使用作為至伺服器S的一詢問。於步驟S82中，伺服器S接著依據該詢問於其之資料庫SDB中產生參考模式之一子集。該子集，例如，可對應至整個參考模式之部份，其被安置而接近客戶(部份)之位置。於步驟S83中，該子集被傳送以回應至該客戶C，接著客戶C藉由所取得的子集而更新其之局部性資料庫CDB。於步驟S84中，在捕捉一新的訊框(影像)之後，目前特徵被檢測、被描述並且被匹配於施加空間限制之局部性資料庫CDB中的局部性參考模式，如上面之說明(步驟S85)。於步驟S86中，該等匹配接著被使用以決定捕捉裝置之姿態。在捕捉一新的訊框(影像)之後(步驟S87)，取決於姿態評估是否成功，客戶C繼續進行(步驟S88)。如果成功，該方法相對至先前訊框而評估捕捉裝置姿態(亦即，訊框-至-訊框追蹤)，否則客戶C依據一些推理(步驟S89)而產生新的目前特徵以嘗試初始化追蹤(步驟S85)，或傳送一新的詢問至伺服器S(步驟S81)。選擇地，於步驟8810中，導致一成功姿態評估之匹配可被使用以更新伺服器資料庫SDB。
特徵檢測以及特徵描述：
任何二維電腦視覺方法之一強的限制是其操作於一投射空間中。這使得其不可能從產生自一物件之實際實體尺度之尺度而辨認產生自一物件至攝影機之距離的尺度。對於產生自攝影機至一物件之距離的尺度之不變性清楚地於許多應用中是所需求的，並且是對於尺度不變性之原始動機。但是，於不同實體尺度之相似特徵的存在情況中，尺度之不變性使得它們難以辨認。例如，如於參考文獻[1]中被說明之一描述符將不可能在一真正建築物以及其之一小型模式之間辨認。除那之外，藉由自影像強度計算一可重複特徵尺度而提供尺度不變性的方法是高度地依賴這被計算的尺度之精確度以及重複性。
依據本發明實施例，該方法因此也包含檢測以及描述來自一強度影像之特徵的方法，其對於產生自在捕捉裝置以及物件之間距離的尺度是不變的，但其卻是易敏感於多種應用物件之真正實體的尺度。就此而言，此方法之各種實施例是可設置如下所述：於一實施例中，該方法可包括下列步驟：提供利用攝影機被捕捉之一強度影像，提供一方法以供決定強度影像中之至少一元素的深度，於一特徵檢測處理程序中檢測強度影像中至少一特徵，其中該特徵檢測藉由處理在取決於強度影像中至少一元素之深度的一尺度之強度影像的影像強度資訊而被進行，並且提供至少一檢測特徵之一特徵描述符。
依據一實施例，特徵描述符包含依據藉由強度影像被提供之影像強度資訊的至少一第一參數，以及包含描述符座標，該等座標依據作為檢測特徵之一部份的強度影像中至少一元素之深度被量測，或特徵描述符根據藉由在檢測特徵附近之一支援區域中的強度影像被提供之資訊而描述檢測特徵，其中該支援區域依據作為檢測特徵之一部份的強度影像中至少一元素的深度被量測。
依據本發明另一實施例，該方法可包含檢測以及描述來自一強度影像之特徵的方法，該方法包括下列步驟：提供藉由一攝影機被捕捉之一強度影像，提供一方法以供決定強度影像中至少一元素之深度，根據藉由強度影像被提供之影像強度資訊而檢測強度影像中之至少一特徵，提供至少一檢測特徵之一特徵描述符，其中該特徵描述符根據藉由強度影像被提供之影像強度資訊而包含至少一第一參數，以及包含描述符座標，該等座標依據作為檢測特徵之一部份的強度影像中至少一元素之深度被量測，或其中該特徵描述符根據藉由在檢測特徵附近一支援區域中的強度影像被提供之資訊而描述檢測特徵，其中該支援區域依據作為檢測特徵之一部份的強度影像中至少一元素之深度而被量測。
依據本發明另一實施例，該方法可包含檢測以及描述來自一強度影像之特徵的方法，該方法包括下列步驟：提供藉由一攝影機被捕捉之一強度影像，提供一方法以供決定強度影像中至少一元素之深度，根據藉由強度影像被提供之影像強度資訊而檢測強度影像中之至少一特徵，以及提供具有一特定尺度之一指標的至少一檢測特徵之一特徵描述符，該特徵描述符包含根據藉由強度影像被提供之資訊的至少一第一參數，以及至少一第二參數，其是指示作為檢測特徵之一部份的強度影像中至少一元素之尺度以及深度的組合。當參照至描述符座標時，吾人參看強度數值之座標，自其中描述符關於一界定特徵中心而被建立。第3圖有助於了解該概念。
因此建議採用強度影像中一元素(例如，一像素)之深度以供用於在強度影像中之特定元素(像素)的特徵檢測及/或描述。因而，特徵可以真實(實體)尺度被檢測並且被描述，比較至強度影像上之標準尺度不變的特徵描述符則提供被改進之獨特性，而不引介任何限制於攝影機移動上。
依據一實施例，於建議之方法中，其於特徵檢測處理程序中決定強度影像中之至少一元素是否屬於一檢測特徵或不取決於強度影像中之強度值。
尤其是，依據本發明一實施例，該建議之方法僅根據強度影像而檢測以及描述特徵。尤其是，一特徵之深度被使用以藉由關於一真正(實體)尺度而改進處理程序，但是對照於目前技術，在特徵附近之任何其他局部性幾何的知識不被使用。
依據這些實施例之方法，於一論點中僅使用一個純量數值，其是距離之一指示，以改進唯一來自2D強度影像中被檢測並且被描述之特徵的檢測及/或描述。
不同的方法存在以提供關聯強度影像中特定像素之深度資訊。範例包含立體視覺、飛行時間攝影機以及使用結構光的方法。於下面，吾人假設吾人被提供一強度影像以及一方法以供決定強度影像中至少一元素之深度。這方法可以，例如，是一相關深度映圖中的一查詢操作(可能是使用內插及/或外插)或其可能是來自包含自不同視角之對應的實體元素之給予的第二強度影像之立體深度的計算。
1.依據本發明一實施例於真實尺度之特徵檢測：
通常，依據這論點之一方法包括下列步驟：提供藉由一捕捉裝置被捕捉之一強度影像，提供一方法以供決定強度影像中至少一元素之深度，於一特徵檢測處理程序中檢測強度影像中之至少一特徵，其中該特徵檢測藉由處理在依據強度影像中至少一元素之深度的一尺度之該強度影像的影像強度資訊被進行，並且提供至少一檢測特徵之一特徵描述符。
依據一實施例，特徵描述符包含依據藉由強度影像被提供之影像強度資訊的至少一第一參數，以及作為尺度指示之至少一第二參數。
依據一實施例，特徵描述符包含依據藉由強度影像被提供之影像強度資訊的至少一第一參數，以及包含描述符座標，該等描述符座標依據作為檢測特徵之部份的強度影像中之至少一元素深度被量測，或特徵描述符根據藉由在檢測特徵附近之一支援區域的強度影像中被提供之資訊而描述檢測特徵，其中該支援區域依據作為檢測特徵之一部份的強度影像中之至少一元素深度被量測。
一特徵是一影像中之一顯著的元素，其可以是一點(於文獻中時常被稱為關鍵點或相關點)、一線、一曲線、一區域、或影像的任何其他子集。特徵檢測演算法通常是顯著性檢測器。例如，它們找出線、邊緣、或一微分運算器之相對極值。一特徵檢測器可被視為映製像素之一區域至一回應的一函數。於文獻中，這區域被稱為特徵檢測器之取樣窗、支援區域或量測孔口。該回應是決定那些元素是特徵以及那些不是之最終臨限值。為了在某一尺度抽取特徵，取樣窗或支援區域之任一者可因此被量測，或影像可在計算特徵檢測器的反應之前藉由反向尺度係數被刻度。一特徵之尺度(或尺寸)接著被定義作為被使用以檢測它的取樣窗或支援區域之尺寸。
於這脈絡中，第9圖展示快速(FAST)角落檢測器之一尺寸(於左邊之展示)，如用於檢測點特徵之方法的通常範例。於這範例中，一特徵F之尺度(或尺寸)被定義為如展示之“尺度1”或“尺度2”，其等對應至被使用以檢測它之取樣窗或支援區域(此處藉由像素圓形集合被定義)之尺寸。於第9圖左邊上，提供決定一像素是否為一特徵(取樣窗或支援區域)之影像區域(於此處藉由像素之圓形集合被限定)以二個不同尺度，尺度1以及尺度2被展示而標明二個不同尺寸的支援區域。
例如，於本發明一論點中，該方法包括下列步驟：定義一支援區域作為涵蓋強度影像之一部份的區域，根據在該特徵附近之支援區域中的資訊而檢測強度影像中之至少一特徵，其中支援區域之一尺寸對應於具有至少一特徵被檢測之尺度而被決定。
依據一實施例，至少一特徵被檢測之尺度依據於支援區域之深度取樣。例如，支援區域以反比於強度影像中之至少一元素的深度被量測以供特徵檢測處理程序決定其是否為檢測特徵之一部份。
用於特徵檢測方法之常見範例包含高斯之拉普拉斯(LoG)、高斯差分(DoG)、赫斯亞行列式(DoH)、最大穩定極值區域(MSER)、赫利斯(Harris)特徵、或學習為基礎角落檢測器，例如，FAST。對於檢測邊緣特徵，廣泛已知的演算法，例如，肯尼(Canny)、莎貝爾(Sobel)或普利衛特(Prewitt)可被應用。
例如，特徵檢測在反比例依據於強度影像中至少一元素之深度的至少一尺度被進行以供特徵檢測處理程序決定其是否為檢測特徵之一部份。
依據一實施例，在至少一特徵被檢測之至少一尺度對應至該特徵之一實體尺寸。
於本發明之一可能實作例中，提議決定一元素是否為一特徵或不取決於強度影像中之數值以及元素深度。更明確地說，對於各檢測元素，特徵檢測以反比例依據於推定的元素深度之一個或多個尺度被實行。
於本發明一實作例中，特徵檢測僅使用一個真實尺度(例如，毫米)以檢測特徵。於另一實作例中，多於一個的真實尺度(例如，毫米)，其依據被使用之深度以檢測特徵(例如，30毫米以及60毫米以供用於更遠於50公分以及較接近於100公分之特徵)。因此，雖然影像尺度(像素)被改變至真實尺度，例如，藉由使其反比例於深度，於量度距離之實體或真實尺度可不同地以及獨立地被量測。
因而，在特徵被檢測之尺度對應至一真實(實體)的尺寸而替代攝影機像素單位之尺度。捕捉裝置焦距之評估是以絕對真實尺度檢測特徵所需求的。
第10a圖展示根據本發明這論點之方法的實施範例流程圖。步驟S51藉由一捕捉裝置，例如，一攝影機，捕捉一強度影像，或裝載一強度影像，並且提供一方法以決定強度影像中之至少一元素，例如，一特定像素，的深度，(關於此一方法之可能實作例，進一步的詳細說明在上面被提供)。步驟S52，其定義抽取特徵之尺度，是取決於深度取樣。對於各支援區域，其可以是如一像素一般地小，檢測強度影像中之特徵的尺度依據於對該區域之一深度取樣。於本發明一實施例中之支援區域是由多於8個像素所構成。如上面之說明，自深度決定尺度之一可能方式是一反比關係，其導致真實(實體)尺度。隨後，步驟S53產生用於不同尺度之所提供的強度影像表示。於步驟S54中，特徵以所需的尺度被檢測。尤其是，於特徵檢測處理程序中，用於不同尺度的強度影像之分別表示被產生並且強度影像中之特徵以分別的尺度被檢測。對於特徵描述，至少一方位被指定於步驟S55中，例如，於鄰近像素之主要梯度方向或使用一方位感知器量測，例如，藉由重力被調準。最終，於步驟S56中，考慮它們的尺度以及方位，特徵被描述，並且於步驟S57使用如於標準方法中之所述特徵。
尤其注意到，步驟S53以及S54是範例。允許以不同尺度檢測特徵的任何方法可被應用於此，包含以刻度它們的取樣孔徑(或支援區域)以取代工作於強度影像之尺度版本上那些方法。
本發明一實施例使用點特徵(亦即，關鍵點或相關點)。特徵檢測於此情況中藉由一方法被進行而依據在該點附近之取樣窗中的影像強度決定對於一影像(亦即，一像素)中之一單一點是否為一特徵。
例如，FAST角落檢測器，其時常被使用作為特徵檢測器，將如下所述地被使用於本發明一實作例中。給予一像素，檢測器依據其之強度以及在具有半徑3.5像素之圓附近上的像素強度決定其是否為一特徵(角落)。所提議之方法將首先自一深度提供方法以決定像素深度。給予這深度(深度_真正)、一所需的真實尺度(半徑_真正)以及捕捉裝置的焦距(焦距_像素)(像素單位)，對應至所需的真實尺度之像素中的直徑或半徑(半徑_像素)可如下所示被計算：半徑_像素=焦距_像素 ^＊半徑_真正/深度_真正
如上面之說明，對應至表面上一些真實尺度的影像中之尺度反比例於深度地變化。這是自深度決定尺度之一可能方式。
為了以對應至用於FAST角落檢測器之半徑(半徑_真正)的真實尺度檢測一特徵，原始檢測器之任何的修改將被使用而以一半徑_像素的像素之半徑取代原定3.5像素而操作，或在具有半徑_像素之半徑的候選像素附近之一片塊藉由半徑_像素/3.5之係數被調整，並且檢測藉由標準檢測器被執行於被調整之影像片塊上。
取代提供用於各深度之一分別尺度，其可以是計算地有利於指定一深度範圍至一尺度。例如，5-10米之範圍被指定100毫米之尺度並且範圍在10米之上者被指定至300毫米。
本發明另一可能實施例可使用其他深度指示值，如上所述地取代深度。一實施例使用以攝影機為中心之笛卡兒座標系統的z-值，其中z-軸是與攝影機之光軸在同一直線。
一般，其也是清楚的，深度或距離，不必定得精確地自攝影機之中心被量測。
選擇地，影像或部份影像，在特徵被抽取或描述符被建立之前，可能依據另外的本質參數而不被失真。
本發明不需要正交計算(其需要密集之深度資料)的昂貴步驟、影像之投射返回成為3D、以及三角測量。替代一影像網眼，本發明之方法使用一簡單2D強度影像用以產生尺度空間。其不根據正切平面進行任何鄰近地區之正交化並且根本也不考慮特徵描述中之法線。尤其是，依據本發明，在特徵檢測處理程序期間沒有依據深度資料之3D網眼被產生。
2.依據本發明進一步實施例之真實尺度的特徵描述：
通常，依據這論點之方法包括下列步驟：提供藉由一攝影機被捕捉之一強度影像，提供一方法以供決定強度影像中至少一元素之深度，依據藉由強度影像被提供之影像強度資訊檢測強度影像中之至少一特徵，以及提供至少一檢測特徵之一特徵描述符。
於第一可能性中，特徵描述符包含根據藉由強度影像被提供之影像強度資訊的至少一第一參數，以及包含描述符座標，該等座標依據作為檢測特徵之一部份的強度影像中至少一元素之深度被量測。
另外地，於一第二可能性中，特徵描述符描述依據藉由在檢測特徵附近之一支援區域中的強度影像被提供之影像強度資訊的檢測特徵，其中支援區域依據作為檢測特徵一部份之強度影像中至少一元素的深度被量測。
一特徵描述符根據在特徵附近之影像的一支援區域中之可用資訊描述一特徵。特徵描述符之尺度是支援區域之尺寸。為清楚起見以及作為一範例，第9圖展示在所展示的右邊上，以二個不同尺度之SIFT描述符的支援區域(此處藉由具有展示如直線之一相對梯度之一框形或矩形被定義)，標明不同尺寸的支援區域之尺度3以及尺度4，於此處是框形或矩形。
一描述符之尺度通常被選擇而線性地依據描述之特徵尺度。於本發明一較佳實施例中，被使用於建立特徵描述符之支援像素是由在一像素附近之幾何圖形(例如，於一圓之邊緣上，或在一橢圓內部的所有像素)所指定的像素所構成，其被辨識作為一特徵，其中幾何圖形僅依據深度變化。變化可以是重新估計幾何圖形或以不同的深度改變幾何圖形形狀。不同的深度可以是區間，例如，0-0.5米以及0.5米-5米及在5米之上。注意到，有關支援區域，吾人指示具有非零供獻加權之支援區域的部份。
例如，強度影像中之支援點被使用於提供特徵描述符，其包括藉由已於特徵檢測處理程序中被辨識作為檢測特徵之一部份的該等點之一者附近的一幾何圖形所指定之點，其中幾何圖形依據該等點之一者的深度而變化，尤其是，其中該變化可在不同的深度重新估計該幾何圖形或改變幾何形狀。
依據一實施例，在不同的真實尺度之支援區域被使用，其中這些支援區域的一支援區域在較小的決定深度被決定為較小並且在較大的決定深度被決定為較大。
一特徵描述符可以是一實數向量，例如，SIFT或SURF，但是也可以是分類為基礎之方法，例如，隨機FERNS。此外，統計式描述符，如同一外形之曲率或(實體)長度，可被使用。在本質上，能夠匹配特徵之任何方法於這揭示說法中被考慮為一特徵描述符。
依據一實施例，其提議依據藉由上述方法被提供之強度影像中之數值以及特徵深度，而描述一特徵。這提議之更多特定實作例將在下面被說明。
依據一實施例，特徵描述符之支援區域成反比於作為檢測特徵之一部份的強度影像中至少一元素之深度被尺度調整。
依據另一實施例，特徵描述符之描述符座標反比例於作為檢測特徵之一部份的強度影像中至少一元素之深度被尺度調整。
尤其是，其提議反比例於特徵深度而尺度調整特徵描述符之座標或支援區域。這導致特徵描述符之尺度對應至一真實尺度並且不僅改進特徵描述符尺度之重複性但同時也能夠辨認在不同的實體尺度之相似特徵。
如果真實尺度將對應至可在不同的裝置各處被使用之一絕對尺度，捕捉裝置之焦距評估是所需的。在某一距離(深度_真正)對應至一絕對真實尺度(S_真正)之像素(S_像素)中的尺度接著被計算如：S_像素=焦距_像素 ^＊S_真正/深度_真正。
第10b圖展示依據本發明這論點之一實施例方法的流程圖。於步驟S61中，在藉由一捕捉裝置捕捉一強度影像或裝載一強度影像並且提供給予一要求像素的深度之方法之後，於步驟S63中，特徵以於步驟S62中被定義之尺度被檢測。這些尺度對於真實(實體)尺度不具有一已知的關係，但是於影像座標中被定義。於步驟S65中，為了描述一特徵，吾人併入藉由深度提供方法被提供之特徵深度。深度被使用以量度描述符座標以對應至一真實尺度，如上面之說明。於步驟S66中，在方位指定之後，特徵使用對應至一真實尺度的描述符尺度於步驟S67中被描述。最終，於步驟S68中，被描述之特徵被使用於應用中。於本發明之可能實作例中，特徵被抽取以便提供深度(例如，使用一立體攝影機)。因此，特徵可即時地被傳送至步驟S65並且步驟S62，S63以及S64(亦即，對應至第10a圖中之步驟S53以及S54的特徵抽取FE)不必需得被進行(不必要)。
於這部份中被提議之方法的一實施例使用點特徵(亦即，關鍵點或相關點)以及供用於此等特徵之特徵描述符。給予一影像中的一2D點，一尺度以及選擇地一方位，其計算一描述符，例如，其可根據在一特徵附近之支援區域中的強度值藉由一實數向量被表示。此等方法之通俗範例包含SIFT以及SURF。
為了支援處理具有強深度變化之景象，吾人提議定義複數個對應至真實尺度之所需的特徵描述符尺度。因此本發明之一可能實施例使用不同的真實尺度支援區域，其中支援區域在較小的深度是較小並且在較高的深度數值是較大。例如，當成像一遠處的山時，因它將涵蓋小於一像素，50毫米x50毫米之一支援區域是無意義的。另一方面，10000毫米x10000毫米之一支援區域，對於此一景象可能是有意義的，而其是清楚地不能於一室內桌上型電腦環境中實行。
依據如上所述於部份1中及/或於這部份2中之一實施例，尺度被定義作為一廣域設置並且特徵描述符不包含指示尺度及/或支援區域之至少一第二參數。
3.依據本發明進一步實施例之尺度不變真正尺度察覺特徵描述：
依據本發明這論點，其提議根據強度影像定義特徵描述符之尺度，如於標準方法中所處理的一般。根據這論點之方法包括下列步驟：提供藉由一攝影機被捕捉的一強度影像，提供一方法以供決定強度影像中至少一元素之深度，根據藉由強度影像被提供之影像強度資訊檢測強度影像中至少一特徵，以及藉由一特定尺度之指標提供至少一檢測特徵之一特徵描述符。特徵描述符包含根據藉由強度影像被提供之影像強度資訊的至少一第一參數以及至少一第二參數，該第二參數指示尺度以及作為檢測特徵之一部份的強度影像中至少一元素之深度之組合。
例如，第二參數是指示尺度以及作為檢測特徵之一部份的強度影像中至少一元素之深度的一乘積。
依據一實施例，該第二參數，其選擇地包含有關捕捉裝置之焦距的資訊，被使用作為一連續特徵匹配處理程序中之一選擇步驟的基礎，於其中僅另一強度影像的那些特徵被考慮作為具有包含相似於至少第二參數之至少一參數的一特徵描述符之檢測特徵的可能匹配。
最好是，第二參數是對於檢測特徵至捕捉裝置之距離是不變的。
依據一實施例，特徵描述符除了在特徵附近之支援區域中的強度影像之一描述之外還包含一純量值，例如，s^＊d。因而s指示特徵描述符尺度並且d是指示特徵深度。雖然這數值是一特徵對於捕捉裝置的距離是理想地不變的，它提供一特徵之明顯的描述。如果一特徵之深度d(或距離)加倍，則強度影像中這特徵之尺寸，以及因此其之尺度s將減少一半。熟習本技術者應明白，焦距不是要緊的，只要它是常數。但是於一般情況中，要緊的是，任何攝影機可被使用。因此，該常數將是以(s^＊d)/f作為替代，其中f是焦距。這是重要的，以便確保資料在不同焦距攝影機之間可操作。尺度以及深度(以及選擇地焦距)之乘積，例如，可被使用以藉由僅考慮具有一相似s^＊d數值的那些特徵作為可能匹配而加速特徵匹配。
第10c圖展示依據本發明這論點之一實施例方法的流程圖。於步驟S71中，在藉由捕捉裝置捕捉一強度影像或裝載一強度影像以及提供一方法以得到強度影像中特定點的深度取樣之後，強度影像之一尺度空間以在步驟S72中被定義的尺度於步驟S73中被產生。於步驟S74中，特徵自尺度空間影像被抽取。對於每個特徵，一方位於步驟S75中被指定並且於步驟S76中一描述被計算。注意，該方法到目前為止無不同於一通常之尺度不變的方法，例如，SIFT。於下面步驟S77中，依據本發明藉由於步驟S71中所提供之方法被提供的特徵深度被併入。於此情況中，深度形成描述符之一部份並且與特徵尺度以及選擇地焦距相乘，如上面之說明。最終，上述特徵被使用於步驟S78之應用中。於本發明可能之實作例中，特徵被抽取以便提供深度(例如，使用立體攝影機)。因此，特徵可即時地被傳送至步驟S75並且步驟S72、S73以及S74(亦即，特徵抽取FE)不必需得被進行(不必要)。
範例結果之描述：第11圖比較依據本發明上述論點(如參考於第1-3點中)與標準方法之在一捕捉裝置CD捕捉由二組玩偶S1以及S2所構成的景象之結構中的技術。各組包含二組不同尺度的相似玩偶(亦即，一高玩偶以及一較小玩偶)。二組玩偶S1以及S2被安置在離捕捉裝置CD不同的距離。第11圖左方展示藉由CD被捕捉之影像。涵蓋的方形指示對於被安置在每個玩偶右眼之特徵的標準尺度不變特徵描述符之支援區域。於該插圖R11、R12、R13以及R14展示被分別特徵之支援區域所涵蓋著的影像部份。如同所見，由於尺度之不變性，它們都是相同的。雖然這引動在不同距離，例如，R11以及R13的一物件之匹配特徵，它不在不同的實體尺度，例如，R11以及R12，提供在相似物件之間的識別力。
相對地，I2展示藉由在各玩偶右眼之四個特徵的支援區域之同樣被捕捉影像，其依據本發明提議之方法被尺度調整。雖然支援區域以及因此描述符對於自攝影機至物件之距離，例如，R21以及R23或R22以及R24，是不變的，但其對於不同尺度的相似物件是不同的。例如，支援區域R21以及R22於它們影像內容中是明顯地不同，其導致不同的特徵描述符。
依據本發明一實施例，用以提供參考及/或目前深度取樣，供決定強度影像中至少一元素之深度的方法是依據於捕捉裝置之一光學焦點。
依據本發明另一實施例，於用以決定強度影像中至少一元素之深度的方法中，強度影像中之元素的深度取樣藉由抽取強度影像以及至少一進一步的強度影像之特徵並且使用捕捉強度影像以及至少一進一步的強度影像之立體攝影機組對的同軸幾何匹配它們而被產生。於其中特徵被抽取以便提供深度(例如，使用一立體攝影機)之情況中，抽取的特徵可即時地被使用於特徵描述。例如，於第一步驟中，二組強度影像I1以及I2藉由攝影機被捕捉或被裝載，其接著可選擇地被接受預處理。在一尺度空間或一組離散尺度已被定義之後，於I1及/或I2之尺度空間中的特徵被檢測並且對應性被決定，例如，使用單眼攝影機結構之立體攝影機組對的同軸幾何或尺度不變的特徵描述符。藉由Fi標出二個對應特徵並且x，y標出分別特徵Fi的一2維位置，一檢測特徵對應性C(F1(x，y)、F2(x，y))被考慮以描述將3D空間之相同點進入I1以及I2中的投射，並且因此，深度，亦即，這點於3D空間中之位置，例如，可藉由三角測量被計算。在最終使用上述特徵於一應用中之前，抽取的特徵或關鍵點K被描述。該描述包含描述符v，其自強度資料被產生。此外，取決於應用，儲存它們的位置於影像(x，y)或它們的3D位置(可自深度被計算)中可能是有意義的。選擇地，尺度s、方位o以及被決定的深度d也可相關於關鍵點被儲存。為了使用本發明這實施例，其是不必須得儲存該尺度作為描述符之部份。例如，尺度也可廣域地對於某些深度被定義為10毫米或1000毫米或使用來自深度d的一般公式根據，其應用至該應用中的所有特徵。如有關第10b以及10c圖所述，依據如上面部份2(例如，自第10b圖中之S65開始)或部份3(例如，自第10c圖中之S75開始)中所述之本發明一實施例的任一方法可被使用。於依據部份3一實施例之情況中，K將也進一步地包括自組合s以及d(以及選擇地攝影機之焦距)所導出之數值。
依據本發明進一步的實施例，強度影像中至少一元素之深度使用視覺搜尋演算法以初始地比較不同距離而被評估。
依據本發明一實施例，該方法可進一步包括下列步驟：提供廣域座標系統中之捕捉裝置的位置以及方位之量測，自該量測決定捕捉裝置的姿態，提供環境之3D模式，其中該姿態被組合於3D模式中使用以計算強度影像中一特徵之至少一元素的深度，例如，透過自捕捉裝置中心投擲一虛擬射線通過該特徵進入3D模式中。
廣域座標系統中捕捉裝置之位置的量測可藉由一GPS感知器/接收器，IR或RFID三角測量，或透過局部化方法使用多頻率或無線基礎建設被提供。廣域座標系統中捕捉裝置之方位的量測可藉由一慣性感知器、一加速器、一迴轉儀、一羅盤或一機械、電磁、聲音、或光學追蹤系統之至少一者被提供。於本發明脈絡中，一慣性感知器藉由使用下列之任何組合：磁力計(例如，羅盤)、移動感知器/轉動感知器(加速器/迴轉儀)、重力感知器以及提供此資訊的其他感知器，而例如，可連續地提供包含關於環境之一物件或裝置之位置及/或方位的感知器資訊。
具有真實尺度特徵描述符之深度提供方法的可能組合可被使用於光學姿態評估以及追蹤中，例如，以便產生戶外AR體驗。例如，深度使用粗略感知器資料以及一環境模式被抽取。一強度影像I1藉由捕捉裝置被捕捉或被裝載。此外，當捕捉I1之同時，捕捉裝置之一初始姿態自粗略感知器量測(例如，GPS位置以及方位感知器資訊)被評估。最後，包含3D資料以及影像資料(相似於Google街道圖)之一先進環境模式被提供。如果用於追蹤之一參考模式(例如，已經包含特徵3D座標以及特徵描述符)不預先被產生，則需影像資料。環境模式使用假設的攝影機姿態被裝載，亦即，環境模式自強度影像I1之攝影機視角被表現。深度資訊自環境模式被取得並且被使用於接著的步驟中用以計算檢測特徵之真實尺度描述符。換言之，使用對齊於影像I1之深度資訊，真實尺度特徵在一固定尺度(例如1米)被抽取。因為環境模式組合3D資料以及影像資料，具有1米尺度之實體尺度特徵的一參考3D模式可被產生(這當然可預先被完成)。該結果接著可被使用以於I1以及3D實體尺度特徵中產生特徵之對應性。使用一最佳化演算法，於環境模式之座標系統中之I1的精鍊姿態可被計算。該精鍊姿態接著可被使用於一應用，例如，一擴增實境之旅遊資料之視覺化，或選擇地被使用以使姿態評估精鍊並且透過處理程序而重複，直至在界定的品質臨界值之下的姿態中之改變已經達成為止。參考文獻：
[1] David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. Int. J. Comput. Vision 60, 2 (November 2004), 91-110, 2004
[2] A. Kumar, J. -P. Tardif, R. Anati, and K. Daniilidis. Experiments on visual loop closing using vocabulary trees. In Computer Vision and Pattern Recognition (CVPR) Workshops, June 2008. Anchorage, AK.
[3] Gabriele Bleser and Didier Stricker. Advanced tracking through efficient image processing and visual-inertial sensor fusion. Computer & Graphics, Vol. 33, Pages 59-72, Elsevier, New York, 2/2009.
[4] D. Chen, G. Baatz, K. Koeser, S. Tsai, R. Vedantham, T. Pylvanainen, K. Roimela, X. Chen, J. Bach, M. Pollefeys, B. Girod, and R. Grzeszczuk. City-scale landmark identification on mobile devices. IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June 2011.
[5] Gerhard Reitmayr and Tom W. Drummond. Initialisation for Visual Tracking in Urban Environments. In Proceedings of the 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR '07). IEEE Computer Society, Washington, DC, USA, 1-9, 2007.
[6] D. V. Johnston, Learning Depth in Lightfield Images, CS229 Machine Learning Autumn 2005, Stanford University, 2005, http://www.stanford.edu/class/cs229/proj2005/Johnston-LearningDepthInLightfieldImages.pdf
[7] Gerhard Schall, Daniel Wagner, Gerhard Reitmayr, Elise Taichmann, Manfred Wieser, Dieter Schmalstieg, and Bernhard Hofmann-Wellenhof. Global pose estimation using multi-sensor fusion for outdoor Augmented Reality. In Proceedings of the 2009 8th IEEE International Symposium on Mixed and Augmented Reality, 2009
[8] Clemens Arth, Daniel Wagner, Manfred Klopschitz, Arnold Irschara, and Dieter Schmalstieg. Wide area localization on mobile phones. In Proceedings of the 2009 8^th IEEE International Symposium on Mixed and Augmented Reality (ISMAR '09). IEEE Computer Society, Washington, DC, USA, 73-82, 2009.
[9] US 7 768 534 B2.
S11-S15‧‧‧標準方法流程步驟
F、F1、F2‧‧‧特徵
CI‧‧‧目前影像
SS1、SS2‧‧‧搜尋空間
CF‧‧‧目前特徵
G‧‧‧重力向量
RF‧‧‧參考特徵
D‧‧‧特徵深度
S1、S2‧‧‧玩偶
RA‧‧‧特徵相對高度
CD‧‧‧捕捉裝置
CDA‧‧‧捕捉裝置高度
PP1、PP2‧‧‧實體點
S81-S810‧‧‧在客戶以及伺服器間之通訊流程步驟
IP1、IP2‧‧‧像素
D1‧‧‧像素深度
S51-S57‧‧‧本發明之方法的實施範例流程步驟
OC‧‧‧捕捉裝置光學中心
S21-S26‧‧‧目前方法的流程步驟
S61-S68‧‧‧本發明之方法的實施範例流程步驟
S31-S36‧‧‧本發明實施例之方法流程步驟
S71-S78‧‧‧本發明之方法的實施範例流程步驟
CD1、CD2‧‧‧捕捉裝置
第1A圖展示匹配一組目前特徵與一組參考特徵之標準方法的流程圖；第1B圖是用以闡述特徵之檢測、說明以及匹配之描述；第1C圖展示由二組玩偶以及捕捉其影像的一捕捉裝置所構成而用於闡述特徵深度之範例景象；第2圖解釋包含，例如，利用GPS被提供之一粗略的預知裝置位置而用於特徵匹配之目前方法的流程圖；第3圖展示依據本發明一實施例之方法流程圖；第4圖是展示本發明一實施例與目前方法之比較的闡述；第5圖展示一範例景象，於其中依據本發明一實施例之方法被應用；第6圖顯示藉由一捕捉裝置所取得之一範例景象的影像；第7圖顯示以捕捉裝置所取得之另一範例景象的影像；第8圖展示依據本發明一實施例之一方法的可能使用；第9圖闡述有關FAST角落檢測器以及SIFT特徵描述符之特徵尺度或尺寸，如用於對檢測點特徵之方法的常見範例；第10a圖展示依據本發明一實施例之方法的流程圖；第10b圖展示依據本發明另一實施例之方法的流程圖；第10c圖展示依據本發明另一實施例之方法的流程圖；第11圖闡述一範例景象，其比較依據本發明之實施例的技術與標準方法，其展示捕捉由二組玩偶所構成之景象的捕捉裝置之結構。
S31-S36‧‧‧流程步驟

权利要求:
Claims (25)
[1] 一種以參考特徵匹配影像特徵之方法，該方法包括下列步驟：提供藉由一捕捉裝置被捕捉之一目前影像，提供一組參考特徵，其中該等參考特徵之各者包括至少一第一參數，該第一參數是至少部分地指示有關一廣域座標系統之參考特徵的一位置及/或方位，其中該廣域座標系統是一地面座標系統或一物件座標系統，或該第一參數是至少部分地指示有關一高度之參考特徵的一位置，於一特徵檢測處理程序中檢測該目前影像中之至少一特徵，聯結該檢測特徵於至少一第二參數，該第二參數是至少部分地指示有關該廣域座標系統之檢測特徵的一位置及/或方位，或該第二參數是至少部分地指示有關一高度之檢測特徵的一位置，以及藉由決定在該至少一第一參數以及該至少一第二參數之間的一相似量測，而匹配該檢測特徵與該組參考特徵之參考特徵的至少一者。
[2] 依據申請專利範圍第1項之方法，其包含當匹配該檢測特徵時藉由在該組參考特徵內之一減低數量的參考特徵而定義一搜尋空間之步驟，其中該搜尋空間根據該至少一第二參數被決定。
[3] 依據申請專利範圍第1或2項之方法，其中該廣域座標系統提供有關一特徵之地理參考位置及/或方位的資訊。
[4] 依據申請專利範圍第1至3項之任一項的方法，其中該等至少一第一以及第二參數之至少一者是至少部分地指示一經度以及緯度。
[5] 依據申請專利範圍第1至4項之任一項的方法，其中該等至少一第一以及第二參數之至少一者是至少部分地指示有關相對於該捕捉裝置之一相對高度、或一絕對高度的一位置。
[6] 依據申請專利範圍第1至5項之任一項的方法，其中該檢測特徵之位置及/或方位藉由一方程式被描述，該方程式描述一幾何形狀，例如，一點、一射線、一直線、一圓、一圓錐體、或一圓柱體。
[7] 依據申請專利範圍第6項之方法，其中匹配該檢測特徵與該組參考特徵之步驟僅考慮該組參考特徵中具有至該幾何形狀之距離是在一臨界值之下的一位置的那些參考特徵為可能之匹配。
[8] 依據申請專利範圍第1至7項之任一項的方法，其中該等至少一第一以及第二參數之至少一者是於一特徵描述符領域中及/或於一空間領域中之一空間資料結構之部份，例如，其中該空間資料結構包含一限定容積，例如，軸對齊方塊、定位方塊、球形、任意容積，或一網格，或任何類型之樹型，例如，四分樹型(Quadtree)、八叉樹型(Octree)、二元空間分割樹型(BSP-tree)、k維空間樹型(kd-tree)、多維空間索引樹型(R-tree)。
[9] 依據申請專利範圍第1至8項之任一項的方法，其中當捕捉該目前影像時，該至少一第二參數使用有關該廣域座標系統之捕捉裝置的至少部份之位置及/或方位被決定。
[10] 依據申請專利範圍第1至9項之任一項的方法，其中該至少一第二參數使用該目前影像中之至少一元件的一深度作為該檢測特徵之一部份而被決定。
[11] 依據申請專利範圍第1至10項之任一項的方法，其中該至少一第二參數使用相關於該捕捉裝置之一座標系統中的一重力向量之一量測以及該目前影像中之至少一元件的一深度作為該檢測特徵之一部份而被決定。
[12] 依據申請專利範圍第11項之方法，其中該檢測特徵之位置是至少部分地以藉由具有一法線是或對應至該重力向量之一平面被描述，而該平面指示高度。
[13] 依據申請專利範圍第9至12項之任一項的方法，其中該至少一第二參數藉由進一步使用該捕捉裝置之一組本質參數、以及該目前影像中之該檢測特徵的一位置而被決定。
[14] 依據申請專利範圍第1至13項之任一項的方法，進一步包括藉由組合朝向該捕捉裝置之該檢測特徵的一決定距離以及該捕捉裝置之方位，而計算有關該廣域座標系統或該捕捉裝置的一座標系統之該檢測特徵的一3維位置。
[15] 依據申請專利範圍第1至14項之任一項的方法，其中該組參考特徵被取得自至少一參考影像，該至少一參考影像藉由不同於該捕捉裝置的一第二捕捉裝置被記錄。
[16] 如申請專利範圍第15項之方法，其中該至少一參考影像之捕捉時間是至少比該目前影像之捕捉時間早一天。
[17] 依據申請專利範圍第1至16項之任一項的方法，進一步包括提供該捕捉裝置之至少一部份的位置、方位及/或高度之步驟，其中關聯於該檢測特徵之至少一第二參數的一不確定性資訊因而被導出。
[18] 依據申請專利範圍第17項之方法，其中該不確定性資訊被使用以影響該匹配處理程序。
[19] 依據申請專利範圍第18項之方法，其中該不確定性資訊藉由依據該不確定性而改變關於位置及/或方位之分別的自由度之至少一者的一個別加權，以影響該匹配處理程序。
[20] 依據申請專利範圍第18或19項之方法，其中該不確定性資訊影響作為將被匹配之匹配候選者之參考特徵的選擇。
[21] 依據申請專利範圍第20項之方法，進一步提供作為匹配候選者之參考特徵的選擇所根據被影響之一加權，其中一較高的不確定性減少該加權並且一較低的不確定性增加該加權。
[22] 依據申請專利範圍第17至21項之任一項的方法，其中該不確定性資訊根據用以提供該捕捉裝置之位置、方位及/或高度的一感知器型式被決定。
[23] 依據申請專利範圍第1至22項之任一項的方法，進一步包含使用一匹配結果之步驟，其使用該匹配結果於該目前影像中之一物件的檢測、分類或局部化，或於該廣域座標系統中之該捕捉裝置的局部化，或於該捕捉裝置之初始姿態評估，或於該捕捉裝置之初始化姿態追蹤。
[24] 依據申請專利範圍第1至23項之任一項的方法，其中該方法被使用於一擴增實境應用中。
[25] 一種電腦程式產品，其適用於被裝載進入一數位電腦之內部記憶體並且包括軟體數碼之部份，當該產品於該電腦上執行時依據申請專利範圍第1至24項之任一項的方法因而被進行。

类似技术:

公开号 | 公开日 | 专利标题

TWI570633B|2017-02-11|以參考特徵匹配影像特徵之方法

US9378431B2|2016-06-28|Method of matching image features with reference features and integrated circuit therefor

US9525862B2|2016-12-20|Method for estimating a camera motion and for determining a three-dimensional model of a real environment

EP2915138B1|2019-07-31|Systems and methods of merging multiple maps for computer vision based tracking

KR101532864B1|2015-06-30|모바일 디바이스들에 대한 평면 맵핑 및 트래킹

Theiler et al.2012|Automatic registration of terrestrial laser scanner point clouds using natural planar surfaces

EP2491529B1|2019-06-26|Providing a descriptor for at least one feature of an image

US9679384B2|2017-06-13|Method of detecting and describing features from an intensity image

KR20150120408A|2015-10-27|카메라 보조 모션 방향 및 속도 추정

Acharya et al.2019|BIM-PoseNet: Indoor camera localisation using a 3D indoor model and deep learning from synthetic images

US10607350B2|2020-03-31|Method of detecting and describing features from an intensity image

JP5833507B2|2015-12-16|画像処理装置

Kim et al.2013|Evaluation of 3D feature descriptors for multi-modal data registration

Hildebrandt et al.2010|Imu-aided stereo visual odometry for ground-tracking auv applications

CN108734654A|2018-11-02|绘图与定位方法、系统及计算机可读存储介质

Ekekrantz et al.2013|Adaptive iterative closest keypoint

Albrecht2009|An analysis of visual mono-slam

Onyango2017|Multi-resolution automated image registration

Gutierrez-Gomez et al.2018|Rgbid-slam for accurate real-time localisation and 3d mapping

Mützel et al.2015|Geometric features for robust registration of point clouds

Weinmann2016|Point cloud registration

US20200294315A1|2020-09-17|Method and system for node vectorisation

Ahmed2020|Real-Time Interactive 3D Reconstruction of Indoor Environments With High Accuracy

Lin et al.2020|A Study on 3D Reconstruction Method for Common View Field in Hybrid Vision System

Mäkinen2019|Modeling environment using multi-view stereo

同族专利:

公开号 | 公开日

US20150161476A1|2015-06-11|

EP2751742A1|2014-07-09|

WO2013029674A1|2013-03-07|

CN103959308A|2014-07-30|

TWI570633B|2017-02-11|

CN103959308B|2017-09-19|

US9400941B2|2016-07-26|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

US10169914B2|2016-08-26|2019-01-01|Osense Technology Co., Ltd.|Method and system for indoor positioning and device for creating indoor maps thereof|

TWI663525B|2017-04-17|2019-06-21|宏達國際電子股份有限公司|追蹤系統以及追蹤方法|JP3486613B2|2001-03-06|2004-01-13|キヤノン株式会社|画像処理装置およびその方法並びにプログラム、記憶媒体|

JP4914019B2|2005-04-06|2012-04-11|キヤノン株式会社|位置姿勢計測方法及び装置|

DE102005061952B4|2005-12-23|2008-09-11|Metaio Gmbh|Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System|

US8970690B2|2009-02-13|2015-03-03|Metaio Gmbh|Methods and systems for determining the pose of a camera with respect to at least one object of a real environment|

US8189925B2|2009-06-04|2012-05-29|Microsoft Corporation|Geocoding by image matching|

DE102009049849B4|2009-10-19|2020-09-24|Apple Inc.|Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells|

WO2012039719A1|2010-09-24|2012-03-29|Hewlett-Packard Development Company, L.P.|Image registration|

KR101677561B1|2010-12-08|2016-11-18|한국전자통신연구원|영상 정합 장치 및 그것의 영상 정합 방법|DE102009049849B4|2009-10-19|2020-09-24|Apple Inc.|Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells|

US9986208B2|2012-01-27|2018-05-29|Qualcomm Incorporated|System and method for determining location of a device using opposing cameras|

EP2672461A1|2012-06-05|2013-12-11|a.tron3d GmbH|Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten|

CN108197631A|2012-07-23|2018-06-22|苹果公司|提供图像特征描述符的方法|

CN105229703B|2013-05-23|2018-02-09|谷歌有限责任公司|用于使用感测的位置数据来生成三维模型的系统和方法|

US9999038B2|2013-05-31|2018-06-12|At&T Intellectual Property I, L.P.|Remote distributed antenna system|

US9036867B2|2013-08-12|2015-05-19|Beeonics, Inc.|Accurate positioning system using attributes|

US9625612B2|2013-09-09|2017-04-18|Google Inc.|Landmark identification from point cloud generated from geographic imagery data|

WO2015036056A1|2013-09-16|2015-03-19|Metaio Gmbh|Method and system for determining a model of at least part of a real object|

WO2015048232A1|2013-09-26|2015-04-02|Tokitae Llc|Systems, devices, and methods for classification and sensor identification using enhanced sparsity|

US10652525B2|2013-10-31|2020-05-12|3Di Llc|Quad view display system|

US9883173B2|2013-12-25|2018-01-30|3Di Llc|Stereoscopic display|

CN103914830B|2014-02-22|2017-02-01|小米科技有限责任公司|直线检测方法和装置|

WO2015155628A1|2014-04-07|2015-10-15|Eyeways Systems Ltd.|Apparatus and method for image-based positioning, orientation and situational awareness|

WO2015164696A1|2014-04-25|2015-10-29|Google Technology Holdings LLC|Electronic device localization based on imagery|

WO2015197908A1|2014-06-27|2015-12-30|Nokia Technologies Oy|A method and technical equipment for determining a pose of a device|

KR20160014418A|2014-07-29|2016-02-11|삼성전자주식회사|유저 인터페이스 장치 및 유저 인터페이스 방법|

JP6635037B2|2014-08-01|2020-01-22|ソニー株式会社|情報処理装置、および情報処理方法、並びにプログラム|

US9418283B1|2014-08-20|2016-08-16|Amazon Technologies, Inc.|Image processing using multiple aspect ratios|

US9576196B1|2014-08-20|2017-02-21|Amazon Technologies, Inc.|Leveraging image context for improved glyph classification|

US10063280B2|2014-09-17|2018-08-28|At&T Intellectual Property I, L.P.|Monitoring and mitigating conditions in a communication network|

US9615269B2|2014-10-02|2017-04-04|At&T Intellectual Property I, L.P.|Method and apparatus that provides fault tolerance in a communication network|

JP6274067B2|2014-10-03|2018-02-07|ソニー株式会社|情報処理装置および情報処理方法|

US9503189B2|2014-10-10|2016-11-22|At&T Intellectual Property I, L.P.|Method and apparatus for arranging communication sessions in a communication system|

US9973299B2|2014-10-14|2018-05-15|At&T Intellectual Property I, L.P.|Method and apparatus for adjusting a mode of communication in a communication network|

US9312919B1|2014-10-21|2016-04-12|At&T Intellectual Property I, Lp|Transmission device with impairment compensation and methods for use therewith|

US9769020B2|2014-10-21|2017-09-19|At&T Intellectual Property I, L.P.|Method and apparatus for responding to events affecting communications in a communication network|

JP2016086245A|2014-10-23|2016-05-19|キヤノン株式会社|画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム|

US10243784B2|2014-11-20|2019-03-26|At&T Intellectual Property I, L.P.|System for generating topology information and methods thereof|

US9544006B2|2014-11-20|2017-01-10|At&T Intellectual Property I, L.P.|Transmission device with mode division multiplexing and methods for use therewith|

US9800327B2|2014-11-20|2017-10-24|At&T Intellectual Property I, L.P.|Apparatus for controlling operations of a communication device and methods thereof|

US9954287B2|2014-11-20|2018-04-24|At&T Intellectual Property I, L.P.|Apparatus for converting wireless signals and electromagnetic waves and methods thereof|

US10009067B2|2014-12-04|2018-06-26|At&T Intellectual Property I, L.P.|Method and apparatus for configuring a communication interface|

SE538405C2|2015-01-07|2016-06-14|Viscando Ab|Method and system for categorization of a scene|

US9876570B2|2015-02-20|2018-01-23|At&T Intellectual Property I, Lp|Guided-wave transmission device with non-fundamental mode propagation and methods for use therewith|

US10838207B2|2015-03-05|2020-11-17|Magic Leap, Inc.|Systems and methods for augmented reality|

US10180734B2|2015-03-05|2019-01-15|Magic Leap, Inc.|Systems and methods for augmented reality|

EP3078935A1|2015-04-10|2016-10-12|The European Atomic Energy Community , represented by the European Commission|Method and device for real-time mapping and localization|

US10224981B2|2015-04-24|2019-03-05|At&T Intellectual Property I, Lp|Passive electrical coupling device and methods for use therewith|

US9705561B2|2015-04-24|2017-07-11|At&T Intellectual Property I, L.P.|Directional coupling device and methods for use therewith|

US9793954B2|2015-04-28|2017-10-17|At&T Intellectual Property I, L.P.|Magnetic coupling device and methods for use therewith|

US20160335275A1|2015-05-11|2016-11-17|Google Inc.|Privacy-sensitive query for localization area description file|

US9871282B2|2015-05-14|2018-01-16|At&T Intellectual Property I, L.P.|At least one transmission medium having a dielectric surface that is covered at least in part by a second dielectric|

US9490869B1|2015-05-14|2016-11-08|At&T Intellectual Property I, L.P.|Transmission medium having multiple cores and methods for use therewith|

US10650940B2|2015-05-15|2020-05-12|At&T Intellectual Property I, L.P.|Transmission medium having a conductive material and methods for use therewith|

US9917341B2|2015-05-27|2018-03-13|At&T Intellectual Property I, L.P.|Apparatus and method for launching electromagnetic waves and for modifying radial dimensions of the propagating electromagnetic waves|

US9912381B2|2015-06-03|2018-03-06|At&T Intellectual Property I, Lp|Network termination and methods for use therewith|

US9866309B2|2015-06-03|2018-01-09|At&T Intellectual Property I, Lp|Host node device and methods for use therewith|

US10812174B2|2015-06-03|2020-10-20|At&T Intellectual Property I, L.P.|Client node device and methods for use therewith|

US9997819B2|2015-06-09|2018-06-12|At&T Intellectual Property I, L.P.|Transmission medium and method for facilitating propagation of electromagnetic waves via a core|

US9913139B2|2015-06-09|2018-03-06|At&T Intellectual Property I, L.P.|Signal fingerprinting for authentication of communicating devices|

EP3104241B1|2015-06-12|2020-09-16|Accenture Global Services Limited|An augmented reality method and system for measuring and/or manufacturing|

US9820146B2|2015-06-12|2017-11-14|At&T Intellectual Property I, L.P.|Method and apparatus for authentication and identity management of communicating devices|

US9640850B2|2015-06-25|2017-05-02|At&T Intellectual Property I, L.P.|Methods and apparatus for inducing a non-fundamental wave mode on a transmission medium|

US9509415B1|2015-06-25|2016-11-29|At&T Intellectual Property I, L.P.|Methods and apparatus for inducing a fundamental wave mode on a transmission medium|

US9865911B2|2015-06-25|2018-01-09|At&T Intellectual Property I, L.P.|Waveguide system for slot radiating first electromagnetic waves that are combined into a non-fundamental wave mode second electromagnetic wave on a transmission medium|

US9847566B2|2015-07-14|2017-12-19|At&T Intellectual Property I, L.P.|Method and apparatus for adjusting a field of a signal to mitigate interference|

US9853342B2|2015-07-14|2017-12-26|At&T Intellectual Property I, L.P.|Dielectric transmission medium connector and methods for use therewith|

US9882257B2|2015-07-14|2018-01-30|At&T Intellectual Property I, L.P.|Method and apparatus for launching a wave mode that mitigates interference|

US10044409B2|2015-07-14|2018-08-07|At&T Intellectual Property I, L.P.|Transmission medium and methods for use therewith|

US9628116B2|2015-07-14|2017-04-18|At&T Intellectual Property I, L.P.|Apparatus and methods for transmitting wireless signals|

US10205655B2|2015-07-14|2019-02-12|At&T Intellectual Property I, L.P.|Apparatus and methods for communicating utilizing an antenna array and multiple communication paths|

US10148016B2|2015-07-14|2018-12-04|At&T Intellectual Property I, L.P.|Apparatus and methods for communicating utilizing an antenna array|

US10090606B2|2015-07-15|2018-10-02|At&T Intellectual Property I, L.P.|Antenna system with dielectric array and methods for use therewith|

US9912027B2|2015-07-23|2018-03-06|At&T Intellectual Property I, L.P.|Method and apparatus for exchanging communication signals|

US9948333B2|2015-07-23|2018-04-17|At&T Intellectual Property I, L.P.|Method and apparatus for wireless communications to mitigate interference|

US9749053B2|2015-07-23|2017-08-29|At&T Intellectual Property I, L.P.|Node device, repeater and methods for use therewith|

US9871283B2|2015-07-23|2018-01-16|At&T Intellectual Property I, Lp|Transmission medium having a dielectric core comprised of plural members connected by a ball and socket configuration|

US9967173B2|2015-07-31|2018-05-08|At&T Intellectual Property I, L.P.|Method and apparatus for authentication and identity management of communicating devices|

US9811760B2|2015-07-31|2017-11-07|Ford Global Technologies, Llc|Online per-feature descriptor customization|

US9461706B1|2015-07-31|2016-10-04|At&T Intellectual Property I, Lp|Method and apparatus for exchanging communication signals|

US20170039567A1|2015-08-03|2017-02-09|Capital One Services, LLC.|Systems and methods for item-based transaction authentication|

US9904535B2|2015-09-14|2018-02-27|At&T Intellectual Property I, L.P.|Method and apparatus for distributing software|

JP6099833B1|2015-09-15|2017-03-22|三菱電機株式会社|画像処理装置、画像処理システム及び画像処理方法|

US10339411B1|2015-09-28|2019-07-02|Amazon Technologies, Inc.|System to represent three-dimensional objects|

US9769128B2|2015-09-28|2017-09-19|At&T Intellectual Property I, L.P.|Method and apparatus for encryption of communications over a network|

US9876264B2|2015-10-02|2018-01-23|At&T Intellectual Property I, Lp|Communication system, guided wave switch and methods for use therewith|

US10355367B2|2015-10-16|2019-07-16|At&T Intellectual Property I, L.P.|Antenna structure for exchanging wireless signals|

TW201719572A|2015-11-19|2017-06-01|國立交通大學|三維模型分析及搜尋方法|

EP3384468A4|2015-12-04|2019-01-30|Magic Leap, Inc.|RELOCALIZATION SYSTEMS AND METHODS|

KR20170081964A|2016-01-05|2017-07-13|한국전자통신연구원|공간 구조 인식을 통한 증강 현실 장치 및 그 방법|

CN105701821B|2016-01-14|2018-07-24|福州华鹰重工机械有限公司|立体图像表面探测匹配方法及装置|

EP3422212A4|2016-02-26|2019-09-11|Nec Corporation|IMAGE DISPLAY SYSTEM, TERMINAL, METHOD AND PROGRAM|

US9986228B2|2016-03-24|2018-05-29|3Di Llc|Trackable glasses system that provides multiple views of a shared display|

AU2017305227B2|2016-08-02|2021-12-16|Magic Leap, Inc.|Fixed-distance virtual and augmented reality systems and methods|

US9860075B1|2016-08-26|2018-01-02|At&T Intellectual Property I, L.P.|Method and communication node for broadband distribution|

US10739142B2|2016-09-02|2020-08-11|Apple Inc.|System for determining position both indoor and outdoor|

US10811767B2|2016-10-21|2020-10-20|At&T Intellectual Property I, L.P.|System and dielectric antenna with convex dielectric radome|

US10312567B2|2016-10-26|2019-06-04|At&T Intellectual Property I, L.P.|Launcher with planar strip antenna and methods for use therewith|

US10225025B2|2016-11-03|2019-03-05|At&T Intellectual Property I, L.P.|Method and apparatus for detecting a fault in a communication system|

US10178445B2|2016-11-23|2019-01-08|At&T Intellectual Property I, L.P.|Methods, devices, and systems for load balancing between a plurality of waveguides|

CN108133492A|2016-12-01|2018-06-08|京东方科技集团股份有限公司|图像匹配方法、装置和系统|

US10819035B2|2016-12-06|2020-10-27|At&T Intellectual Property I, L.P.|Launcher with helical antenna and methods for use therewith|

US10727599B2|2016-12-06|2020-07-28|At&T Intellectual Property I, L.P.|Launcher with slot antenna and methods for use therewith|

US10637149B2|2016-12-06|2020-04-28|At&T Intellectual Property I, L.P.|Injection molded dielectric antenna and methods for use therewith|

US10694379B2|2016-12-06|2020-06-23|At&T Intellectual Property I, L.P.|Waveguide system with device-based authentication and methods for use therewith|

US10243270B2|2016-12-07|2019-03-26|At&T Intellectual Property I, L.P.|Beam adaptive multi-feed dielectric antenna system and methods for use therewith|

US10168695B2|2016-12-07|2019-01-01|At&T Intellectual Property I, L.P.|Method and apparatus for controlling an unmanned aircraft|

US10139820B2|2016-12-07|2018-11-27|At&T Intellectual Property I, L.P.|Method and apparatus for deploying equipment of a communication system|

US10446936B2|2016-12-07|2019-10-15|At&T Intellectual Property I, L.P.|Multi-feed dielectric antenna system and methods for use therewith|

US9893795B1|2016-12-07|2018-02-13|At&T Intellectual Property I, Lp|Method and repeater for broadband distribution|

US10359749B2|2016-12-07|2019-07-23|At&T Intellectual Property I, L.P.|Method and apparatus for utilities management via guided wave communication|

US10389029B2|2016-12-07|2019-08-20|At&T Intellectual Property I, L.P.|Multi-feed dielectric antenna system with core selection and methods for use therewith|

US10547348B2|2016-12-07|2020-01-28|At&T Intellectual Property I, L.P.|Method and apparatus for switching transmission mediums in a communication system|

US9998870B1|2016-12-08|2018-06-12|At&T Intellectual Property I, L.P.|Method and apparatus for proximity sensing|

US10103422B2|2016-12-08|2018-10-16|At&T Intellectual Property I, L.P.|Method and apparatus for mounting network devices|

US10530505B2|2016-12-08|2020-01-07|At&T Intellectual Property I, L.P.|Apparatus and methods for launching electromagnetic waves along a transmission medium|

US10389037B2|2016-12-08|2019-08-20|At&T Intellectual Property I, L.P.|Apparatus and methods for selecting sections of an antenna array and use therewith|

US10326689B2|2016-12-08|2019-06-18|At&T Intellectual Property I, L.P.|Method and system for providing alternative communication paths|

US10069535B2|2016-12-08|2018-09-04|At&T Intellectual Property I, L.P.|Apparatus and methods for launching electromagnetic waves having a certain electric field structure|

US10777873B2|2016-12-08|2020-09-15|At&T Intellectual Property I, L.P.|Method and apparatus for mounting network devices|

US10601494B2|2016-12-08|2020-03-24|At&T Intellectual Property I, L.P.|Dual-band communication device and method for use therewith|

US9911020B1|2016-12-08|2018-03-06|At&T Intellectual Property I, L.P.|Method and apparatus for tracking via a radio frequency identification device|

US10938108B2|2016-12-08|2021-03-02|At&T Intellectual Property I, L.P.|Frequency selective multi-feed dielectric antenna system and methods for use therewith|

US10340983B2|2016-12-09|2019-07-02|At&T Intellectual Property I, L.P.|Method and apparatus for surveying remote sites via guided wave communications|

US10264586B2|2016-12-09|2019-04-16|At&T Mobility Ii Llc|Cloud-based packet controller and methods for use therewith|

US9838896B1|2016-12-09|2017-12-05|At&T Intellectual Property I, L.P.|Method and apparatus for assessing network coverage|

US10691979B2|2017-01-04|2020-06-23|Aquifi, Inc.|Systems and methods for shape-based object retrieval|

US10812936B2|2017-01-23|2020-10-20|Magic Leap, Inc.|Localization determination for mixed reality systems|

US9973940B1|2017-02-27|2018-05-15|At&T Intellectual Property I, L.P.|Apparatus and methods for dynamic impedance matching of a guided wave launcher|

US10298293B2|2017-03-13|2019-05-21|At&T Intellectual Property I, L.P.|Apparatus of communication utilizing wireless network devices|

WO2018170470A1|2017-03-17|2018-09-20|Magic Leap, Inc.|Mixed reality system with virtual content warping and method of generating virtual content using same|

EP3596702A4|2017-03-17|2020-07-22|Magic Leap, Inc.|MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS|

US10762598B2|2017-03-17|2020-09-01|Magic Leap, Inc.|Mixed reality system with color virtual content warping and method of generating virtual content using same|

US10097241B1|2017-04-11|2018-10-09|At&T Intellectual Property I, L.P.|Machine assisted development of deployment site inventory|

US10467756B2|2017-05-14|2019-11-05|International Business Machines Corporation|Systems and methods for determining a camera pose of an image|

CN109146963B|2017-06-13|2020-07-07|南京鑫和汇通电子科技有限公司|一种基于快速特征匹配的图像位置偏移检测方法|

US10943088B2|2017-06-14|2021-03-09|Target Brands, Inc.|Volumetric modeling to identify image areas for pattern recognition|

CN109584295A|2017-09-29|2019-04-05|阿里巴巴集团控股有限公司|对图像内目标物体进行自动标注的方法、装置及系统|

CN107833280B|2017-11-09|2021-05-11|交通运输部天津水运工程科学研究所|一种基于地理网格与图像识别相结合的户外移动增强现实方法|

US10896218B2|2017-12-22|2021-01-19|Oracle International Corporation|Computerized geo-referencing for images|

JP2021532469A|2018-07-23|2021-11-25|マジックリープ, インコーポレイテッドMagic Leap, Inc.|フィールド順次ディスプレイにおけるフィールド内サブコードタイミング|

EP3629290A1|2018-09-26|2020-04-01|Apple Inc.|Localization for mobile devices|

JP2020106966A|2018-12-26|2020-07-09|株式会社日立製作所|物体認識装置および物体認識方法|

US20210110614A1|2019-10-15|2021-04-15|Magic Leap, Inc.|Cross reality system with localization service|

CN111144239A|2019-12-12|2020-05-12|中国地质大学（武汉）|一种利用词汇树引导的无人机倾斜影像特征匹配方法|

US20210287441A1|2020-02-20|2021-09-16|Vergendo Ltd.|Method and system for gathering and distribution of data for mobile agent global positioning in multi-agent environment|

WO2021188741A1|2020-03-17|2021-09-23|Ptc Inc.|Machine vision determination of location based on recognized surface features and use thereof to support augmented reality|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

PCT/EP2011/065002|WO2013029674A1|2011-08-31|2011-08-31|Method of matching image features with reference features|

[返回顶部]